视觉中国。
文本 |徕泰SORA的辩论仍在继续。 有人认为SORA会是通向AGI（Artificial General Intelligence）的快车道，也有人认为SORA开辟了一条结合Transformer架构和扩散模型的新技术路线，也有人认为SORA与AGI关系不大，是产品中的一个重要里程碑，但在技术上并不比ChatGPT更重要。
无论SORA的出现意味着什么，大型模型的争夺还远未结束。 如果说OpenAI占据了当今闭源大模型生态的一极，那么Meta无疑是开源大模型的另一极。
Meta 的骆驼（羊驼）可以说是从一开始就最强大的开源模型之一。 去年 7 月，Meta 发布了更强的 Llama 2，最重要的是开源许可证已经从只研究转向免费和商业化，虽然也在 shell 中创造了大量的大模型，但毫无疑问，它一举改变了大模型的格局。
然而，AI 世界日新月异，之前法国开源新秀 Mistral 挑出了 Llama 2（2 月推出了闭源大模型 Mistral Large，仅次于 GPT-4），然后 Google 发布了 GEMMA 开源大模型来碾压 Llama 2。
现在是 Llama 3 的时候了。
今年 1 月，Meta 首席执行官马克·扎克伯格（以下简称小扎“小扎”）在 Instagram 上宣布 ** Meta AI 已开始训练 Llama 3。 根据 The Information 的最新披露，Meta 计划在今年 7 月正式发布 LLAMA 3。
小扎官宣**，图片来自Instagram
考虑到 Meta 花了三个月的时间训练第一代 Llama，花了大约六个月的时间训练 Llama 2，如果下一代车型遵循类似的时间表，它也应该在 2024 年 7 月的某个时候发布。
不仅如此，根据相关报道和Meta官方透露的信息，预计在四个月后发布的Llama 3野心更大，恐怕会再次以开源的身份改变大模型的世界。
至少就目前而言，算力仍是大模型迭代的关键因素之一，就连OpenAI也要时不时地解释一下自己的算力储备。
在Instagram**中，小栅表示，预计到2024年底，Meta将拥有35万台Nvidia H100（官方售价为3.）。50,000 美元，实际上仍然处于溢价状态），如果包括其他计算资源，它将达到近 600,000 h100：
目前，可能只有Microsoft和谷歌拥有可比的算力储备。
小彦这句话的含义其实很明显：Meta 有足够的 AI 计算资源来支持 Llama 3 的大规模预训练和生成式 AI 的技术研究。
参数的确切大小目前还不得而知，但可以预料的是，之前的版本会继续多参数尺度，有传言称最大版本将超过1400亿个参数，直接挑战GPT-4等领先的大模型。
该信息还援引内部消息人士的话指出，LLAMA 3 不仅放松了安全围栏，而且在处理有争议的问题时提供了比 GPT-4、Gemini 和 LLAMA 2 更好的答案。 Meta 显然希望至少提供有关查询的上下文，而不是忽略或拒绝回答用户的问题。
为了做到这一点，除了要求 Llama 3 从技术上改进大型模型的错觉问题外，可能还需要改进上下文长度。 在 Llama 2 上，Meta 将上下文长度增加了一倍，允许模型在推理（与 AI 聊天的过程）期间记住两倍的令牌上下文。
另一方面，大型模型厂商普遍转向多模态大型模型（如Gemini和GPT-4V）的研究，即除了文本之外，还支持和理解图像和音频，并且可以同时生成文本、声音和音频。 Meta 可能也不例外。
虽然小铂只确认骆驼3会像骆驼2一样包含**生成功能，但他并没有明确提及其他多模态功能，但他还是在官宣中谈到了人工智能与元宇宙相结合的想法**。
眼镜是 AI 看到所见所闻的理想形式，Xiaozha 指出，在谈论 Meta X Ray-Ban 眼镜时，它总是可以提供帮助。 」在关于独立AI终端AI Pin的报告中，雷科技还深入探讨了可穿戴设备在AI视觉和听觉领域的巨大潜力。
换句话说，Meta 的方向一定是让 AI 模型同时具备自然语言理解、视觉和听觉能力。 可以推断，对骆驼3甚至后续几代骆驼的多模态支持可以说是该主题的正确含义。
总体来看，可以合理预期，即使LLAMA 3的规模保持在70亿到700亿参数的范围内，仍然会带来显著的性能提升，LLAMA 3也会带来更多的想象。
更重要的是，Meta 也有对 AGI 的追求。
越来越明显的是，下一代服务需要构建全面的通用智能。 小扎明确指出了 Meta 构建 AGI 的长期目标，即打造最好的 AI 助手、创作者 AI、企业 AI 等等——这需要 AI 各个领域的进步，从推理到规划，从编码到记忆和其他认知能力。 」
当然，这并不意味着 Llama 3 将实现（甚至尝试实现）AGI。 但毫无疑问，Meta 有意以他们认为最终可能导致 AGI 的方式进行研发。
平心而论，无论 LLAMA 3 是否开源，都将对整个 AI 行业产生巨大影响。
作为业界使用最广泛的开源模型，LLAMA 2 及其上下游作为重要核心，已经开始有意识地构建生态系统。 去年 12 月，为了对抗以 OpenAI 和谷歌为代表的闭源阵营，Meta 联合甲骨文、英特尔、AMD、IBM、索尼、戴尔等 57 家全球科技公司和研究机构组成了 AI 联盟。
AI 联盟成员，图 IBM
该联盟有六大目标，其中之一是构建开源模型生态系统，包括从研究、评估、硬件、安全、公众参与的一整套流程。
虽然小吏没有明确说明Llama 3是否开源，但Llama 3很有可能继续开源。
在宣布《骆驼3》正在接受训练后，小扎在接受The Verge采访时表示： 我倾向于认为，这里更大的挑战之一是，如果你构建了一些真正有价值的东西，那么它最终会非常专注。 然而，如果你让它更加开放，那么你可以解决由于机会和价值不平等而可能出现的一大群问题。 」
如果说小形的回应更像是一种态度的表达，那么Meta的首席AI科学家Yann Lecun的回应则更切中要害。 在接受《连线》采访时，Yann Lecun指出：
当你有一个开放的平台，许多人可以做出贡献时，进步就会变得更快。 您最终会得到一个更安全、性能更好的系统。 （同时）想象一个未来，我们与数字世界的所有互动都由人工智能系统主导。 你不希望人工智能系统被美国西海岸的少数几家公司控制。 也许美国人不会在乎，也许美国**不会在乎。 但我现在告诉你，在欧洲，他们不会喜欢它。总而言之，开源可以吸引更多的厂商进行微调，吸引更多的开发者构建应用，吸引更多的用户使用，带动生态的快速发展。 尤其是当 Meta 占据开源大模型的顶级生态位时，除了最先进的闭源大模型外，用户可能会对其他所有模型失去兴趣，Meta 更容易在 OpenAI 的生态之外培育出庞大的开发生态，甚至超越 OpenAI：就像当时的Android一样。
此外，监管问题是不可避免的。 鉴于人工智能的颠覆性，当人工智能过程不完全由一家公司主导，而是由全球公司和开发商构建时，它也更有可能被监管机构接受。
愿景是美好的，但现实并非如此。 问题是，Meta 是否还能重回开源宝座，甚至超越 GPT-4？
图 X（以前称为 Twitter）。
时局变了，当《骆驼3》发布时，Meta可能面临着完全不同的局面。 谷歌的Gmoma碾压和Mistral的黑马姿态都证明了Meta的开源宝座并不稳定。 尤其是谷歌，虽然每次都被OpenAI碾压，但没有人敢真正忽视谷歌的金钱、技术和号召力。
当然，在《骆驼3》发布之前，这些问题不会得到更明确的答案。 在那之前，一切皆有可能。