继 2 月 16 日发布 Gemini 1 之后5. OpenAI 的 GPT-4 之后的正面很硬。 当地时间2月21日，谷歌推出新一代开源模型“Gemma”，直接指代Meta的开源模型Llama 2。
谷歌表示，GEMMA是“最先进”的轻量级开放模型系列，超过了Mistral 7B和Llama 2，成为迄今为止同类语言模型中最强大的语言模型。
据谷歌官网称，GEMMA在拉丁语中意为“宝石”，以它命名的开放模型系列GEMMA是由谷歌DeepMind等团队开发的，使用与创建双子座模型相同的研究和技术。
目前，GEMMA系列有“GEMMA 2B”和“GEMMA 7B”两种尺度可供选择，即20亿个参数和70亿个参数，以满足开发者的不同需求。
在性能方面，它在多项测试中都领先于 LLAMA 2，包括 MMLU、BBH、MATH 等。
其中，GEMMA 7B在MMLU（Massive Multitasking Language Understanding）中获得了64分。3%。就其大小而言，最初最强的Mistral 7b得分为625%，Meta 的 Llama-2 7b 和 13b 为 452% 和 548%，这与杰玛相去甚远。
在使用方面，开发人员可以根据自己的数据对 GEMMA 模型进行微调，并在框架、工具和硬件之间对其进行优化。 首先，谷歌通过了原生的keras 30 兼容所有主要框架（Jax、Pytorch 和 TensorFlow），并为 GEMMA 提供了用于推理和监督微调 （SFT） 的工具链。
同时，GEMMA 支持多个 AI 硬件平台，包括 NVIDIA GPU 和 Google Cloud TPU，这使得 GEMMA 模型可以在所有类型的设备上运行，包括笔记本电脑、台式机、物联网、移动设备和云。
然而，与闭源模型相比，开源模型的安全性也是很多人关心的问题。
为此，Google 使用自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。 此外，人类反馈 （RLHF） 被用于广泛的微调和强化学习，以使指令调整模型与负责任的行为保持一致。 还评估了GEMMA模型的风险状况。
GEMMA 的推出恰逢 Google 新推出的 Responsible Generative AI Toolkit，以帮助开发人员和研究人员优先构建安全和负责任的 AI 应用程序。
谷歌表示，作为一个开放的产品，GEMMA允许所有组织，无论规模大小，都以商业上负责任的方式使用它，并符合安全标准。
此外，谷歌副总裁兼总经理兼开发者关系主管珍妮·班克斯（Jeanine Banks）也强调，GEMMA与Meta的开源不同，Meta的开源有许可条款，阻止其大型科技竞争对手使用其LLAMA 2开源模式，而谷歌GEMMA则没有这样的商业限制。 这波谷歌确实在得分！
事实上，在人工智能领域，如果说Meta是大模型开源的鼻祖，那么谷歌可以说是人工智能领域的开源鼻祖。 无论是 OpenAI 还是 Meta，谷歌的竞争对手，还是任何生成式 AI 公司，他们都离不开 Transformer 框架的影响。
Transformer 框架在 Google 2017 年的“Attention is All You Need”** 中首次被提及。 作者：Vaswani，谷歌的人工智能研究员，等人。
在 Google 发布之前，OpenAI 的技术路线图主要集中在卷积神经网络 （CNN） 和递归神经网络 （RNN） 上。 由于 Transformer 架构的提出，有助于解决 RNN 在长距离依赖问题中的困境。
原件中变形金刚模型主要部件的插图。
Transformer 模型在机器翻译、文本摘要、问答等任务中取得了显著的成绩，并迅速成为自然语言处理领域的标准模型。 当今的大多数大型语言模型，包括 GPT-2、GPT-3、GPT-4、Claude、BERT、XLNet、Roberta 和 ChatGPT，都展示了 Transformer 执行各种自然语言处理 （NLP） 相关任务的能力。
另一方面，谷歌在人工智能领域的实力此前一直被低估，可以说甚至比OpenAI、Meta等竞争对手拥有更大的先发优势。
但自 2022 年 ChatGPT 发布以来，OpenAI 代表了世界上最先进的生成式大模型。 谷歌作为先驱，在这个领域几乎“消失”了。
为了应对ChatGPT的挑战，谷歌于2023年3月紧急推出了Bard。 2023年12月，Gemini多模态大模型发布。 与此同时，谷歌也面临诸多质疑，甚至被指责在发布会上呈现假片段。
面对外部打击，谷歌并没有就此止步。 2024 年 2 月，谷歌将发布 Gemini Ultra 免费版和 Gimini 15. GEMMA开源三大举措。 可以看出，谷歌一直在用实际行动证明自己。
近日，OpenAI再次推出颠覆性产品Sora，将多模态人工智能领域提上日程。 这对谷歌来说压力很大，但并不可怕。
早在去年年底，谷歌就推出了第一代模型视频诗人。 据谷歌称，该模型可以“零镜头生成”，不仅支持常见的文生和土生，还支持编辑、风格化、扩展和配乐。 从谷歌提供的输出**效果来看，VideoPoet与之前的AI**大模型相比，确实有了质的飞跃。 未来，它可能会与OpenAI竞争。
目前，在开源大模型领域，随着谷歌的强势进军，已经形成了三足的局面：Meta、欧洲Mistral AI和谷歌。 在闭源大模型领域，谷歌在OpenAI和Microsoft领导的阵营中占据了一席之地。
再过不到两个月的2024年，“大模型之战”就已经开始，可以预见，2024年大模型领域的竞争将进一步升温。
但就国内市场而言，没有谁能独自掌控，我们还需要拭目以待，看看是否会有一匹黑马如雨后春笋般涌现。 当然，我们也期待这样一匹黑马的出现。