MistralAI 发布 Mistral 8x7B MoE，一种基于混合专家技术的大型语言模型

法国大型模型初创公司Mistralai于今年9月发布了Mistral-7B模型，号称是70亿参数尺度模型中最强大的模型。 由于其商业友好的开源协议，MISTRAL-7B引起了很多关注。

就在昨天，Mistralai 突然在推特上发了一条 Magnet 的链接，后来才发现，这是一个基于混合专家的大模型。

混合专家网络（MOEs）是一种大规模深度习模型的设计方法，旨在提高模型的规模和效率。 这种方法的核心是将大型网络划分为较小的子网络（称为“专家”），然后根据输入数据的特征有选择地激活这些专家。

MISTRAL-8X7B-MOE 是一个混合模型，由 8 个专家网络组成，规模为 70 亿个参数。

这是世界上已知的第一个基于MOE架构的开源大型语言模型。

mistral-8x7b-moe 的预训练结果大小为 8699GB，这意味着单个专家网络大小为 10大约 9GB。

该模型的词汇量为 32000，与 llama2 模型相同。

目前，除了这些参数之外，没有官方的技术文档或博客介绍，但引起了很多关注和讨论。

许多人已经开始测试mistral-8x7b-moe，但它似乎表现平庸，仅比mistral-7b好10-20%左右。

Mistralai目前除了模型**的链接外，没有提供任何信息，但希望提供官方技术细节。

好了，这就是这个播客的全部内容。 感谢您的聆听，我们下期再见！