在这个故事中，openai发现他们的聊天机器人 ChatGPT 是：黑客使用盗版 API 的攻击。 但是，他们并没有立即阻止它黑客，却选择了一个巧妙的策略。 他们在 ChatGPT 中设置了一个陷阱，将回答所有问题变成“喵喵喵”。 黑客他们最终发现了这个“陷阱”，并且是对的openai该团队表示失望。 这个耐人寻味的故事展现了大模型时代的安全问题，同时：openai团队灵活应对的能力。
为了解决黑客攻击问题，openai工程师们没有采取通常的防御措施，而是采用了一种巧妙的方法。 他们将 ChatGPT 重命名为“catgpt”，并设置了一个“cat promt”，让它无论如何都无法实现黑客无论问什么问题，chatgpt只会回答“喵喵喵”，这是在黑客在他们眼里，这很有趣。
黑客他们开始怀疑有什么不对劲，他们在 Discord 社区偷偷讨论，一些黑客开始怀疑openai意识到他们使用盗版API，他故意以“猫语”的方式回应他们。 但是，他们不知道openai很久以前就渗透到社区，并一直密切关注他们的谈话。 最终黑客我们意识到了真相，并且是对的openai该团队表达了他们的失望，并希望下次他们能给出更有趣的回应。 openai成员们同意了他们的要求。
这个故事虽然充满趣味，但也折射出当下大模型时代面临的安全隐患。 随着模型的不断增长，它们对恶意行为者的潜在暴露也在增加。 openai该团队表示，他们需要更加警惕，并采取更多措施来保护模型的安全性。
在本节中，openai工程师 Evanmorikawa 分享了他们在 GPU 上部署 ChatGPT 时面临的挑战和经验。
首先，Evan 回顾了 ChatGPT 的初始版本。 ChatGPT发布后，吸引了大量关注和用户涌入。 但是，它们的GPU计算能力无法承受如此大的负载。 针对这个问题，openai该团队使用 8 个 NVIDIA A100 GPU 为 ChatGPT 提供计算能力，并为每个 GPU 添加了特殊的 HPM 高带宽内存。 此外，在 GPU 之间通信对于ChatGPT的性能来说，这是非常关键的。
然后，埃文总结道openaiGPU 面临几个瓶颈。 首先，由于ChatGPT的模型庞大，它需要大量的GPU内存来存储权重，GPU 上有限的高带宽内存成为瓶颈。 其次，早期对 GPU 利用率的简单监控存在问题，并且没有充分考虑tensor计算的内存访问方式导致GPU计算能力未得到充分利用，浪费了计算资源。 第三，随着用户使用模式的变化，不同型号和请求类型对GPU的计算方式和内存访问模式需要不断调整和优化。 此外，在 GPU 之间通信数据交换也变成了培训建筑。
面对这些挑战，openai该团队通过不断调整策略和深度优化，成功让ChatGPT稳定运行。 他们深入研究硬件的底层细节，并随着模型和场景的变化调整系统。 此外，他们认识到考虑到硬件的产品的各种局限性路线图关键。
Evan 还分享了openai团队在团队建设经验。 他们将 ChatGPT 视为一体嵌 套在openai在初创公司中，该团队重视高效和迭代的文化。 随着产品规模的扩大，他们还意识到，为了保持功能支持和风险控制，有必要增加团队规模。
通常openai在部署大型模型服务时，存在一些系统级挑战，但他们能够通过不断调整和优化来克服这些挑战。 他们的课程包括将问题视为系统工程挑战，优化各个系统组件的协同工作，深入了解硬件的细节和局限性，根据模型和场景变化进行调整，以及将 ChatGPT 视为独立的初创公司而不是初创公司openai一个部门。
以上是openai团队面对ChatGPT黑客对攻击和挑战的响应，以及在 GPU 上部署的经验教训。 这些经验对于当前大模型时代大模型的开发和部署具有一定的参考价值。