作者 |李冬梅，核可乐。
生成式人工智能的潜在危险引起了公众、政治家和人工智能研究人员的关注。 随着各国**寻求压制该技术，OpenAI 已扩展其内部安全流程，以应对有害人工智能 （AI） 的威胁。
近日，OpenAI首席执行官SAM Altman现身美国佐治亚州亚特兰大市全球希望论坛。 来自全球 40 个国家的 5,200 多名代表参加了重新构想全球经济体系的活动，以便商业利益和机会惠及所有人。
OpenAI 制定了一项计划，以遏制当今和未来正在开发的强大 AI 技术可能出现的最坏情况。
风靡全球的聊天机器人ChatGPT的创建者本周公布了一份长达27页的“准确框架”文件，概述了OpenAI如何跟踪、评估和预防尖端人工智能模型带来的“灾难性风险”。
风险范围从用于实施大规模网络安全漏洞的人工智能模型，到协助创建生物、化学或核**。
作为准备框架制衡部分的一部分，OpenAI表示，公司领导层将拥有是否发布新AI模型的决策权，但最终决定权将始终掌握在董事会手中，董事会保留对OpenAI执行团队结论的“否决权”。
即使没有被公司董事会否决，有潜在风险的人工智能模型也需要通过一系列安全检查才能部署。
一个专门的“预备”团队将领导这项多管齐下的治理工作，以监控和减轻 OpenAI 高级 AI 模型带来的潜在风险。
OpenAI 于 2023 年 12 月 18 日更新了其关于准备团队的页面。 这次更新的主要目的似乎是为识别、分析和决定如何处理他们正在开发的模型中固有的“灾难性”风险提供一条清晰的路径。 正如他们所定义的那样：
我们所说的灾难性风险是指可能导致数千亿美元的经济损失或导致许多人严重受伤或死亡的任何风险，包括但不限于生存风险。除了调查正在开发的AI模型的准备团队外，安全系统团队还调查了当前模型的风险，“安全系统”团队调查了以下风险： 通用人工智能等超级智能模型有望在未来用于实际应用。 他们宣布将组建一个名为“Superalignment”的团队，这三个团队将确保OpenAI的安全性。
麻省理工学院（Massachusetts Institute of Technology）教授亚历山大·马德里（Aleksander Madry）目前正在休假，他将领导这家初创公司的准备团队。 他将监督一个研究团队，该团队将负责评估和密切监测潜在风险，并将这些特定风险编入记分卡。 根据影响程度，这些记分卡会将特定风险分为“低”、“中”、“高”和“严重”等类别。 如果正在开发的AI风险超过“高”，则停止开发，如果超过“高”，将停止开发。 如果超过中等，则可以停止发布。
准备框架指出，“风险等级为中等及以下的模型只有在实施缓解措施后才能部署”，并且“只有在实施缓解措施后才能进一步开发风险等级为高或更低的模型”。 ”
此外，OpenAI还宣布成立一个部门，即安全咨询小组，负责监督安全决策的技术工作和运营架构。
该安全咨询小组位于 OpenAI 技术开发的顶端，并定期生成有关 AI 模型的报告。 此外，该报告还将提交给管理层和董事会。 管理层可以根据安全咨询小组的报告决定是否发布 AI 模型，但董事会可以推翻管理层的决定。 换句话说，即使管理层无视安全咨询小组的报告，并决定发布本质上具有高风险的人工智能模型，董事会也可以使用同一份报告来推翻该决定。
OpenAI表示，该文件目前处于“beta”测试阶段，预计将根据反馈定期更新。
该框架再次引起了人们对这家强大的人工智能初创公司不寻常的治理结构的关注。 继上个月的OpenAI“强宫”事件之后，该公司董事会实施了一波大修，甚至将创始人兼首席执行官山姆·奥特曼（Sam Altman）赶下台。 但凭借公司内部强大的舆论基础和外部投资者的高度认可，阿尔特曼在短短五天内就闪电般卷土重来。
这场备受瞩目的权力之争在当时引发了新的问题：阿尔特曼应该对他所参与的公司保留什么权力，以及董事会应该如何限制阿尔特曼和他的执行团队。
值得注意的是，自从首席执行官回归以来，那些反对他的人被排除在董事会之外。 “如果安全咨询小组提出建议，而首席执行官同意该建议，董事会真的能阻止他吗？这个问题的答案是未知的。 除了承诺 OpenAI 将由独立第三方进行审计外，没有太多提及透明度。 还有人怀疑安全咨询小组的存在。
OpenAI强调，目前的董事会仍处于“初始阶段”，尚未最终确定。 这三名成员都是高净值白人，负责确保 OpenAI 的尖端技术向前发展，造福全人类。
临时董事会缺乏多样性受到广泛批评。 一些反对者还担心，仅靠企业自律是不够的，立法机构应该采取更多措施来确保人工智能工具的安全开发和部署。
随着 OpenAI 发布这一新的主动安全框架，科技行业及其他行业在过去一年中就人工智能技术造成灾难的可能性进行了激烈的辩论。
今年早些时候，包括OpenAI的Altman和Google DeepMind首席执行官Dem Hassabis在内的数百名领先的人工智能科学家和研究人员签署了一封简短的公开信，呼吁将减轻“人工智能带来的灭绝风险”作为全球优先事项，等同于“流行病和核战争”等顶级风险。
这一消息迅速引起了公众的广泛恐慌。 但一些行业观察人士后来认为，这实际上是一个烟幕弹，以转移人们的注意力，将人们的注意力引向当前人工智能工具的危险，转向虚无缥缈、遥远的后世界末日场景。
但无论如何，OpenAI内部爆发的“斗争”引发了人们对超能力人工智能的担忧。 《时代》杂志将阿尔特曼评为世界上最有影响力的人物之一，以表彰他在推进人工智能系统方面的工作，同时警告我们人工智能可能会消灭所有人类文明。
原文链接：奥特曼**谈“收紧咒语”？OpenAI 发布 27 页安全指南，董事会有权阻止发布新的 AI 模型 生成式 AI 李冬梅在 InfoQ 上发表了一篇专题文章。