2023 年 8 月，Meta 发布了 Code Llama，这是一个专为编程任务设计的大规模语言模型，基于之前的 LLAMA 2 模型。 今天，该公司发布了"具有更强大功能的新版本"--code llama 70b。
Code Llama 70b 已经用 5000 亿字节的 ** 和相关数据进行了训练。 由于 100,000 个短语的上下文窗口，它可以处理和生成长序列。
根据 Meta 的说法，Code Llama 70b 使用一种称为自我注意力的技术来理解结构。 可基于文本或片段提示实现算法、排序、搜索等功能，适用于Python、C++、J**Ascript、J**A等多种语言。
这个人工智能驱动的工具包括针对特定任务进行微调的变体。 其中一种变体是 codellama-70b-instruct，它被训练为理解自然语言指令。 还有一个以 Python 为重点的版本，称为 codellama-70b-python。 根据 Meta 的说法，通过额外训练 1000 亿个 Python 代币，它可以生成 Python 的"流畅度和准确性无与伦比"。
写作和编辑已成为当今 AI 模型最重要的用途之一"Meta首席执行官马克·扎克伯格（Mark Zuckerberg）在Facebook帖子中写道。 "事实证明，能力对于人工智能模型更严格、更合乎逻辑地处理来自其他领域的信息也非常重要。 "
Code Llama 70b 在与早期 Code Llama 型号相同的开放许可下免费**：
根据 Meta 的说法，该许可证允许学术和商业用户修改模型。
Microsoft拥有的 GitHub 于 2023 年 7 月推出了 Copilot Chat。 开发人员可以向 Copilot 询问有关他们自己的问题，获得特定部分的解释，甚至可以让 Copilot 修复其中的错误。 最近，谷歌还推出了 Duet AI 和 Gemini Pro，这是 AI 驱动的完成和生成工具。