学者 溥玉 20 是一个大型语言模型，是商汤科技和上海人工智能实验室、香港中文大学和复旦大学发布的新一代大型语言模型。 ‘
有效支持20万字超长上下文：该模型在20万字长输入中几乎完美地实现了长文本的“大海捞针”，在Longbench、L-Eval等长文本任务中的表现也达到了开源模型的领先水平。 你可以用 lmdeploy 尝试 200,000 字的超长上下文推理。 综合性能提升：与上一代模型相比，各项能力维度都得到了全面提升，推理、数学、对话体验、跟课、创意写作等方面的能力提升尤为显著，综合性能达到同级别开源模型的领先水平，Internlm2-Chat-20B在关键能力评估上可以匹敌甚至超越ChatGPT（GPT-3.）5）。解释器和数据分析：使用代码解释器，INTERNLM2-CHAT-20B 可以在 GSM8K 和 MATH 上达到与 GPT-4 相似的水平。 基于坚实的数学和工具基础，Internlm2-Chat 提供实用的数据分析功能。 工具调用能力整体升级：基于更强、更通用的命令理解、工具筛选、结果反射能力，新版模型可以更可靠地支持复杂智能体的构建，支持工具的有效多轮调用，完成更复杂的任务。 依赖环境：
python >= 3.8·pytorch >= 1.12.0（推荐 2。0.0及以上）·变压器>= 4。34
通过变压器加载
通过以下**从 transformers 加载 internlm2-7b-chat 模型（可修改的模型名称以替换不同的模型）： import torchfrom transformers import autotokenizer， automodelforcausallmtokenizer = autotokenizerfrom_pretrained("internlm/internlm2-chat-7b"，信任远程代码=true）设置火炬 dtype=torch。float16 将模型精度指定为 torchfloat16，否则视频内存可能由于您的硬件而不足。 model = automodelforcausallm.from_pretrained("internlm/internlm2-chat-7b", device_map="auto",trust_remote_code=true, torch_dtype=torch.float16） （可选） 如果您使用的是资源匮乏的设备，则可以使用 Bitsandbytes 加载 4 位或 8 位量化模型，以进一步节省 GPU 内存。一个 4 位量化的 InterNlm 7B 消耗大约 8GB 的视频内存。 # pip install -u bitsandbytes# 8-bit: model = automodelforcausallm.from_pretrained(model_dir, device_map="auto", trust_remote_code=true, load_in_8bit=true)# 4-bit: model = automodelforcausallm.from_pretrained(model_dir, device_map="auto", trust_remote_code=true, load_in_4bit=true)model = model.eval()response, history = model.chat(tokenizer, "你好"， history=）print（response） 模型输出： 你好！有什么我可以帮你的吗？ response, history = model.chat(tokenizer, "请提供三条管理时间的建议。 ", history=history)print(response)
通过前端网页进行对话
pip install streamlitpip install transformers>=4.34streamlit run ./chat/web_demo.py
界面显示：
微调：
详情请参考官方文档
性能得分：
internlm2-chat in alpacaeval 20，结果显示 InterNLM2-Chat 在 Alpacaeval 上已经超过了 Claude 2、GPT-4（0613） 和 Gemini Pro。