由机器之心报告。
编辑：Egg Sauce、陈萍
更强大的 Code Llama 70b 型号就在这里。今天，Meta 正式推出了 Code Llama 70B，这是 Code Llama 系列中最大、性能最好的型号。
我们正在开源一个新的和改进的 Code Llama 版本，包括一个更大的 70b 参数模型。 编写和编辑**已成为当今 AI 模型最重要的用途之一。 事实证明，编写**的能力对于AI模型更严格、更理性地处理来自其他领域的信息非常重要。 我为这一进展感到自豪，并期待将其整合到 Llama 3 和未来的模型中。Code Llama 70B 提供与之前发布的 Code Llama 型号相同的三个版本：
Codellama - 70b，基本型号;
Codellama - 70B - Python，70B 专门用于 Python;
Code Llama - 70b - Instruct 70b，经过微调以理解自然语言指令。
Code Llama 最初是 Meta 于 2023 年 8 月推出的一款工具，用于免费研究和商业用途。
根据 Meta AI 博客文章，Code Llama 70b 可以处理比其他版本更多的查询，这意味着开发人员可以在编程时给它更多提示，并且可以更准确。
在 Humaneval 基准测试中，Code Llama 70B 达到了 53% 的准确率，优于 GPT-348 中的第 51%，更接近 OpenAI** 报告中 GPT-4 的 67%。
Code Llama 建立在 Llama 2 之上，可帮助开发人员根据提示创建和调试人工编写的代码。 在发布时，Meta 表示 Code Llama 的开源许可证可以免费用于研究和商业用途，就像 LLAMA 2 一样，Code Llama 70b 也不例外。
当时，Code Llama 系列模型有三个版本，参数大小分别为 7b、13b 和 34b。 它还支持多种编程语言，包括 Python、C++、J**A、PHP、TypeScript （J**Ascript）、C 和 Bash。
Meta 提供的 Code Llama 版本包括：
代码 Llama，基本模型;
代码 llama-python，python 微调版本;
Code Llama-Instruct，自然语言指令的微调版本。
后两种模型侧重于特定的编码语言。 现在，这个模型系列添加了 Code Llama 70b，将任务提升到了一个新的水平。
Code Llama 70b 在 1TB 的数据上进行训练，并托管在 Hugging Face 存储库中。
Meta 表示，其更大的型号 34b 和 70b 返回最佳结果并提供更好的编码帮助。
然而，根据开发人员的经验，Code Llama 70b 仍然存在明显的缺点。
例如，有人发现代码 llama 70b 无法完成生成质数的请求：
也有人说，这一限制旨在避免某些不良用途，例如产生非法的质数。 非法素数可用于表示禁止拥有或分发的材料，根据美国《数字千年版权法》，分发此类程序是非法的。
参考链接：