今天凌晨，一年一度的Meta Connect大会上发布了一系列以AI为重点的公告。不只有最新的MR耳机、与Ray-Ban合作打造的智能眼镜，最重要的是，Meta将在自身的所有通讯类App、Meta Quest 3和未来的Ray-Ban Meta智能眼镜中内置生成式AI技术驱动的新功能，从多轮对话的AI助手到图像编辑等一应俱全。
所有这些发布涉及的AI技术均基于Llama 2——迄今为止最强大的开源大模型。不过Meta也提前透露了，更强大的Llama 3将于2024年推出。
Meta还在Connect大会上宣布了全新的图像生成器Emu，它将用于为AI贴纸和图像编辑等功能提供支持。大模型出现后，科技公司都在推出一系列新的人工智能机器人，引领开源一方的Meta也不例外，其正在其消息应用程序中推出一系列新的人工智能机器人，包括WhatsApp、Messenger和Instagram。从本周三起，全新上线的大模型能力可供美国的部分测试版用户使用。
这个名为Meta AI的人工智能助手，看起来与OpenAI的ChatGPT和Anthropic的Claude 2等聊天机器人非常相似。扎克伯格表示，用户现在已经可以通过群聊接受大模型的帮助，与朋友计划旅行、收获知识问题回答，并通过微软的Bing搜索互联网以提供实时网络结果。
与此前Facebook的虚拟助手M不同，定制的Meta AI助手面向更广大的用户群体，而且是完全自动化的，其模型可以参考之前的对话，经过调整可以给出「非常简洁」的答案。这意味着最新的AI助手需要拥有强大的上下文学习能力。
Meta通过持续预训练LLAMA 2 checkpoints来构建模型，并使用了额外的4000亿个token作为长训练序列。
在该系列模型中，较小规模的7B/13B变体使用了32768个token序列进行训练，而34B/70B变体则使用了16,384个token序列。与现有研究进行的有限评估不同，Meta使用语言建模、合成任务以及涵盖长短语境任务的各种实际基准对我们的模型进行了广泛评估。在语言建模方面，Meta的模型在上下文长度方面表现出明显的幂律缩放行为。
这种缩放行为不仅表明该模型能够持续从更多语境中获益，还表明语境长度是缩放LLM的另一个重要轴心。
Meta表示，为了保证安全性，其在发布模型之前花费了6000个小时寻找有问题的用例并招募员工在内部与模型进行交互。它还声称已经开发了新技术来捕获违反其政策的内容并对其采取行动，阻止Meta AI以外的聊天机器人搜索网络。
在Connect大会上，扎克伯格还介绍了全新的图像生成模型「Emu」。
Emu的命名方式延续了Meta的动物主题。这是Meta对DALL-E和MidJourney等爆火应用程序的正式回应，同时推出的还有「生成式AI表情」和「图像编辑」两个重点新功能。由Emu提供支持的新功能将允许用户在几秒钟内创建独一无二的AI表情，不久后就将登陆WhatsApp、Messenger、Instagram甚至Facebook Stories等Meta旗下的应用程序。
Meta在11亿的图像-文本对上预训练了一个潜在扩散模型(LDM)，并在从大量图像语料库中手工挑选出的几千张高质量图像上对模型进行了质量调整。通过对潜在扩散架构进行一些优化，Meta建立了一个强大的预训练模型，并通过质量调整大大提高了生成图像的视觉吸引力，也就是Emu。在视觉吸引力方面，Emu的表现明显优于当前的开源SOTA模型SDXL v1.0。
此次，Meta也寻求自身与微软的进一步合作，在Meta AI聊天体验中接入了微软必应网络搜索。此前7月，Meta和微软就曾在Windows和Azure上支持Llama 2系列大语言模型。微软副总裁兼消费者首席营销官Yusuf Mehdi介绍了双方的合作。他表示，微软与Meta合作，将必应集成到Meta AI的聊天体验中，通过访问实时搜索信息来提供更即时、最新的答案。
双方的合作将加速AI时代的创新，未来将持续拓展合作关系，为人们常用的产品提供更强大、有用的AI体验。