Microsoft推出了小型型号 Phi 2,其性能优于 Llama 2 Mistral 7B

小夏 科技 更新 2024-01-29

Microsoft 宣布推出 27 亿参数的语言模型 phi-2,并声称其性能可以与大 25 倍的模型相媲美或更好。 “表现出出色的推理和语言理解能力,在少于 130 亿个参数的基础语言模型中展示了最先进的性能。 ”

其基准测试结果显示,在各种综合基准测试中,PHI-2 仅具有 27 亿个参数,在 7b 和 13b 参数下优于 Mistral 和 LLAMA-2 模型。 与大 25 倍的 LLAMA-2-70B 模型相比,PHI-2 在多步推理任务(即编码和数学)上取得了更好的性能。

此外,PHI-2 的性能与最近发布的 Google Gemini Nano 2 相当,甚至更好。

与现有的开源模型相比,PH-2 反应的“毒性”和偏差也更少。

此前,谷歌的 Gemini 演示**展示了其解决复杂物理问题和纠正学生的能力。 Microsoft研究人员还将PH-2进行了相同的测试,并表示它同样能够正确回答问题并使用相同的提示纠正错误。

PHI-2 是 Microsoft 小型语言模型 (SLM) 系列的最新版本。 第一个版本是 PHI-1,具有 13 亿个参数,针对基本的 Python 编码任务进行了微调。 9 月,该公司将重点扩展到常识推理和语言理解,推出了一个新的 13 亿参数模型 phi-15. 性能可与大 5 倍的型号相媲美。

Microsoft表示,PHI-2 的效率使其成为想要探索增强 AI 安全性、可解释性和语言模型伦理开发等领域的研究人员的理想平台。 目前,PHI-2 现在可通过 Microsoft Azure AI Studio 中的模型目录获得。

相似文章