开源 MoE 模型 Mixtral 8x7B 优于 GPT 3 5

大型模型创业公司Mistral AI终于推出了前两天“开源”的MOE模型mixtral 8x7b

据官方统计，mixtral 8x7b 具有高质量和开放式配重稀疏混合专家模型 （SMOE）。使用 Apache 20 许可证开源。 在大多数基准测试中，Mixtral 的性能优于 LLAMA 2-70B，推理速度提高了 6 倍。 在大多数标准基准测试中，它都超过了 GPT-35。

因此，Mistral AI 称 mixtral 为最强大的开放权重模型，也是性价比权衡的最佳模型。

Mixtral 主要特点

32k 上下文。

提供英语、法语、意大利语、德语和西班牙语版本。

超越 LLAMA 2 系列和 GPT-35

在**生成方面表现强劲。

在 mt-bench 上获得 8 分3分。

Mixtral 作为一个稀疏混合专家网络，是一个仅解码器模型，其中前馈模块从 8 组不同的参数中选择。 在每一层，对于每个令牌，路由网络选择两组“专家”来处理令牌，并加法组合它们的输出。

mixtral 共有 45b 个参数，但每个令牌仅使用 12b 个参数。 因此，它以与 12b 模型相同的速度和成本处理输入并生成输出。

有关更多详细信息，请查看：