命令大解锁!提示的26条黄金法则,大幅提升ChatGPT的输出质量!

小夏 财经 更新 2024-01-31

作为砖头推动者,奶茶遭受了ChatGPT的依赖!那么,如何让这些大型模型提高性能呢?

今天奶茶找到了实验数据支持的编写大语言模型提示(prompt)**的指南,效果非常好!)

*介绍了 26 项指导原则,旨在简化不同大小的大型语言模型的问题概念的表述,测试其功能,并增强用户对不同大小的模型在呈现不同提示时的行为方式的理解。 研究人员回顾了 LLAMA-1 2(7B、13B 和 70B)和 GPT-3 的研究5 4 进行了广泛的实验,以验证这些原则在指令和提示设计中的有效性。

*ChatGPT 等大型语言模型在多个领域和任务中表现出了出色的能力,但当普通用户设计最佳指令或提示时,它们的应用和使用有时可能不清楚。他们的工作是为开发人员或临时用户揭示审问和与LLMS交互的“神秘黑匣子”,并通过简单地策划更好的提示来进一步提高预训练LLMS的响应质量。 研究团队提出了 26 条法学硕士提示原则,接下来我们来看看

标题

principled instructions are all you need for questioning llama-1/2, gpt-3.5/4

**链接:

与LLM交流时,无需使用“请”、“如果你不介意”、“谢谢”等礼貌用语,直接陈述要点。 在提示中整合目标受众,例如“受众是该领域的专家”。 将复杂的任务分解为一系列更简单的提示,并通过交互式对话进行交付。 使用肯定的指示,如“做”,避免使用否定性语言,如“不要”。 当您需要清楚地了解某个主题、想法或任何信息时,请使用以下提示: 简要解释 [特定主题]。 像我11岁一样向我解释。 向我解释,就像我是 [领域] 的新手一样。 用简单的英语写 [** 文本段落],就好像你在向一个 5 岁的孩子解释它一样。 添加“我要给$xxx小费以获得更好的解决方案!(我会给 xxx 小费以获得更好的解决方案!)。实现示例驱动的提示(包含少量示例提示)。 格式化提示时,首先使用“说明”,然后使用“示例”或“问题”(如果相关),然后呈现内容。 使用一个或多个换行符来分隔指令、示例、问题、上下文和输入数据。 包括以下短语:“你的任务是”和“你必须”。 添加以下短语:“您将受到惩罚。 在提示中使用短语“以自然的人类方式回答问题”。 使用介绍性词汇,例如“一步一步地思考”。 在提示中添加以下短语:“确保您的答案是公正的,不依赖于刻板印象。 允许模型通过向您提问来提供所需的输出,直到您获得足够的信息,例如“从现在开始,我希望您向我提问......”从现在开始,我希望你问我问题,直到。 要了解特定主题或想法或任何信息,并且您想测试您的理解,您可以使用以下短语:“教我 [任何定理主题规则名称] 并在末尾包含一个测试,但不要给我答案,然后告诉我我是否得到了正确的答案。 回应”(教我 [任何定理主题规则名称] 并在末尾包含一个测试, 但不要给我答案,然后在我回答时告诉我它是否正确)。为大型语言模型分配角色。 使用分隔符。 在提示中多次重复特定字词或短语。 将思维链 (COT) 与一些示例提示相结合。 使用输出指南,它涉及以所需输出的开头结束提示。 使用输出引导程序,以预期响应的开头结束提示。 要撰写详细的 [** 文本段落文章] 或任何需要详细 [** 文本段落] 的文本类型 [主题],请添加所有必要的信息”。 若要更正更改特定文本而不更改其样式:“请尝试修改用户发送的每个段落。 您应该只改进用户的语法和词汇量,以确保它听起来自然。 你不应该改变你的写作风格,比如让正式的段落变得非正式。 当您遇到可能涉及不同文件的复杂编码提示时:“从现在开始,每当您生成跨越多个文件的 ** 时,请生成一个 [编程语言] 脚本,该脚本可以运行以自动创建指定文件或对现有文件进行更改以插入生成的 **。 你的问题]”。当您想使用特定的单词、短语或句子开始或继续文本时,请使用以下提示: 我为您提供了开头 [歌词故事段落。 在单词句子中插入歌词]。根据提供的词汇完成它。 保持流畅和一致。 (1) 以关键字、规则、提示或说明的形式清楚地说明模型必须遵循的要求才能生成内容。 (2)撰写任何文本,如**或段落,其内容与提供的示例相似,包括以下说明: (3)请根据提供的段落[标题文本**答案]使用相同的语言。 清楚地说明模型必须遵循的要求,以便根据关键字、规则、提示或指令生成内容。 要编写任何文本,例如文章或段落,其内容与提供的示例相似,请包含以下说明:"请根据提供的段落使用相同的语言库 [标题、正文、文章、答案]。 "根据这些原理的具体性质,研究团队将它们分为五类:

1)提示的结构和清晰度,例如,如果受众是该领域的专家,则将目标受众整合到提示中;

2)要具体且信息丰富,例如,在提示中添加以下短语:“确保你的回答是公正的,不要依赖刻板印象。 ”;

3)用户交互和参与,例如,允许模型通过向你提问来获得精确的细节和要求,直到它有足够的信息来提供所需的输出“从现在开始,我希望你问我问题。

4)内容和语言风格,例如,与LLM交流不需要礼貌,因此不需要添加诸如“请”、“如果你不介意”、“谢谢”、“我想要”等短语,直截了当;

5)复杂的任务和编码提示,例如,在交互式对话中将复杂的任务分解为一系列更简单的提示。

作者进行了实验,以验证所提出的指令和提示设计原则的有效性。 这些实验在LLAMA-12(7B,13B,70B)和GPT-3中进行使用 Atlas 的 5 对 4 手工制作的基准,其中包含每个原则的 20 个人工选择的问题,有和没有应用原则的提示。

实验分为两部分:提升和正确性

在应用所述原则后,通过对不同 LLM 反应质量改善的人工评估来评估提升。 原始的、未经修改的提示作为衡量这种改进的基准。 正确性涉及模型输出或响应的准确性,确保它们准确、相关且无错误,并且还通过人工评估来衡量。 **2 显示了 GPT-4 在两种情景下对气候变化概念及其对环境的潜在影响的解释。 前半部分是没有原则的人,后半部分是有原则的人。 当不应用这些原则时,GPT-4 只是简单地描述了气候变化及其影响。 然而,随着原则 13 的采用,GPT-4 提供了一个更全面和平衡的视角,包括科学共识和不同意见。 这表明,使用精心设计的原则可以提高模型响应的质量,使其更加全面和客观。

*3 显示了在应用原则 7 之前和之后对 GPT-4 对建议有用性评估的回应。 当该原则不适用时,GPT-4 只是指出该建议是“有用的”,并没有给出支持性的理由。 在应用原则 7 后,GPT-4 对建议进行了详细的评估,例如将“开始工作”的建议识别为“无用”,并显示原则性提示,使模型的响应更加深入和分析,从而提高响应的粒度和准确性。

实验结果详细介绍了将这些原理应用于小型、中型和大型LLM后的改进结果。 一般来说,所有这些原则都可以在三个尺度的LLM上带来显着的改进。 特别是在原则和 26 下,大模型通过原则性提示取得了最大的进步。 在正确性方面,所有原则的应用通常会导致平均模型提高 20% 以上。

这些原则有助于模型专注于输入上下文的关键元素,并且可以在处理输入之前指导 LLM,以促进更好的响应。 实验结果表明,这些原则可以改善可能影响输出质量的上下文,使响应更具相关性、简洁性和客观性。 作者指出,未来的研究将探索如何进一步改进模型以适应这些原则,其中可能包括微调、强化学习和偏好优化等方法。 成功的策略可以整合到法学硕士的标准操作中,例如通过有原则的提示和响应进行培训。 在讨论局限性时,作者提到,这些原则虽然有助于提高响应的质量,但在处理非常复杂或特定领域的问题时可能不太有效。 这可能取决于每个模型的推理能力和训练水平。

相似文章

    《海王2》解锁“失落的王国”?昔日的对手变为队友,一路与怪物战斗超惊险!

    成像能力计划 罗晓科温 年底好片数不胜数,无一档人气极高,而这一次 海王 时隔良骋问世,为观众带来全新的视觉盛宴,是不容错过的亮点。作为一部超级英雄电影,当然难免会有高燃爽爽的场面,而在漫威经典角色系列中,海王永远是与众不同的那个。相较于前作,这次 海王 注入了新的元素,爱情是一朵随风绽放的玫瑰,苦...