华尔街上一篇文章提到，山姆·奥特曼计划筹集7万亿美元来建立一个芯片帝国。 7万亿美元，基本上相当于全球GDP的10%。 消息一出，**一片哗然。
虽然山姆·奥特曼很有可能拿不到钱，但来自《星界十号法典》的人气评论员斯科特·亚历山大认为，这不仅是对未来人工智能规模条件的反思，也是对人工智能迭代形式（安全还是跨越）的反思。
基本逻辑：GPT-1 的训练成本约为零。 GPT-2 售价 40,000 美元。 GPT-3 耗资 400 万美元。 GPT-4 耗资 1 亿美元。 GPT-5 的细节仍然是个秘密，粗略估计为 25 亿美元。
因此，如果每个 GPT 版本的成本是前一个版本的 25 到 100 倍。 这里假设平均值是 30 倍。 这意味着 GPT-6 将耗资 750 亿美元，GPT-7 将耗资 2 万亿美元。 （条件是。"gpt-6 "它比 GPT-5 领先整整一代，与 GPT-4 和 GPT-3 一样大。 ）
分解 GPT 的成本，训练 AI 需要：
计算（即计算能力、硬件、芯片）、功率（为计算提供动力）、训练数据、计算以浮点运算 （FLOPS） 来衡量。 GPT-3 训练需要 10 23 次浮点运算，GPT-4 可能需要 10 25 次浮点运算。
世界上所有的计算机都有大约 10 21 个浮点秒的容量，因此它们可以在 10 秒内在 4 秒内训练 GPT-4，也就是两个小时。 OpenAI 花了 6 个月的时间，这表明 OpenAI 使用的计算机数量约为全球所有计算机的 1 2000 台。
如果保持 30 倍的乘数系数，GPT-5 将使用世界上所有计算机的 1 70 台，GPT-6 将使用现有计算机的 1 2 台，GPT-7 将使用现有计算机总数的 15 倍。 全球计算能力正在迅速增长——消息人士称每 1在5年内翻一番，这意味着每五年增长一个数量级。 如果我们假设两代 GPT 之间有 5 年的差距，那么 GPT-6 实际上只需要世界上计算机数量的 1 10，而 GPT-7 需要 1 3。 世界上还有很多计算机 1 3.
当所有其他人工智能公司也想要计算机时，OpenAI 无法获得世界上 1 3 台计算机。 因此，芯片制造的规模必须大幅扩大。
GPT-4 训练消耗约 50 GWh。 使用 30 倍的乘数系数，预计 GPT-1500 需要 5 GWh，GPT-6 需要 45000 GWh，GPT-7 需要 130 万 GWh。
假设训练运行持续 6 个月，即 4320 小时。 这意味着 GPT-6 将需要 10 吉瓦（1000 亿吉瓦时）——大约是世界上最大的发电厂三峡大坝容量的一半。 GPT-7 将需要 15 个三峡大坝电源。 这"不仅是全球生产的总电力，还有可以购买的电力"。这需要电源靠近数据中心。 最好的选择是将北溪管道连接到数据中心，或者使用聚变反应堆发电。
山姆·奥特曼（Sam Altman）正在研究核聚变发电，但这似乎只是一个巧合。 至少从 2016 年开始，他就对核聚变感兴趣）。
AI 需要读取的文本、图像或其他数据，以了解其域的工作原理。 GPT-3 使用 3000 亿个代币。 GPT-4 使用 13 万亿个代币（另一种说法是 6 万亿个代币）。 看起来 30 倍乘数因子仍然有效，但从理论上讲，训练数据的扩展应该是计算量的平方根 - 所以你应该假设 55 倍膨胀系数。 这意味着 GPT-5 将需要近 50 万亿个代币，GPT-6 将需要数万亿个代币，GPT-7 将需要数万亿个代币。
但是世界上没有那么多文本。 如果你把所有出版的书籍、Facebook消息、推文、短信和电子邮件加起来，也许还有数万亿。 如果 AI 学会理解所有图像、**和电影，它可能会获得更多。 但似乎达不到一百万亿，更别说万亿了。
除非 AI 可以用更少的训练数据学习一些东西。 这就像人类的大脑不需要阅读世界上所有的单词来学习东西。 但这目前是不可能的。
更有前途的是合成数据，人工智能为自己生成数据。 例如，你可以用合成数据训练一个国际象棋人工智能，让它与自己对弈一百万次。 您可以训练数学 AI 随机生成证明步骤，并最终偶然发现正确的步骤，自动检测正确的证明，然后对该步骤进行训练。 你可以训练玩游戏的AI，让它做出随机动作，然后看看哪一个得分最高。
一般来说，如果你不知道如何创建好的数据，但知道如何在数据存在时识别它，那么可以使用合成数据（例如，国际象棋 AI 赢得了与自己的比赛，数学 AI 获得了正确的证明，游戏 AI 获得了良好的分数）。 但是，目前无法识别书面文本。
此外，算法进步意味着："人工智能的突破"，通常每五年左右需要几个数量级才能取得进展。
因此，GPT-5 可能需要全球 1% 的计算机、来自小型发电厂的能源以及大量的训练数据。
GPT-6 将需要全球 10% 的计算机、来自大型发电厂的能源以及比可用数据更多的训练数据。 这可能是一个城镇规模的数据中心，连接到大量太阳能电池板或核反应堆。
GPT-7 可能需要世界上所有的计算机、一个超过任何现有发电厂的巨型发电厂，以及比现有更多的训练数据。
构建 GPT-8 目前是不可能的。 即使解决了合成数据和核聚变发电的问题，接管了整个半导体行业，也是不可能的。 唯一的可能性是 GPT-7 可以帮助为更便宜的制造成本提供资金或大幅提高全球经济增长。
所有关于 GPT 5 及更高版本的说法都是关于现有趋势的**，很可能是错误的，而且只有几个数量级的估计。 GPT-6 的成本可能达到 750 亿美元或更多。 OpenAI负担不起。 Microsoft或谷歌也将消耗公司一半的资源。
如果 GPT-5 失败了，或者它只是一个渐进式的改进，那么没有人愿意再在 GPT-6 上花费 750 亿美元了。
但如果 GPT-5 接近人类水平，甚至掀起工业革命级别的变革，那么花费 750 亿美元制造下一个 GPT-6 是有道理的。
GPT-5 不一定足以为 GPT-6 规划做出重大贡献。 但如果能实现GPT-6或其相关芯片制造和发电成本降低10%，就算是成功了。
然后迭代的结果变成指数过程 r。 如果指数大于 1，则 GPT 将呈指数增长。 如果索引小于 1，则逐渐消失。
也就是说，如果每一代人工智能都足够令人兴奋，可以激发更多的投资，或者降低下一代人工智能的成本，那么这两个因素的结合就可以在正反馈循环中创造下一代人工智能（r > 1）。
但是，如果每一代人工智能都不够令人兴奋，不足以激发创造下一代人工智能或帮助下一代人工智能降低成本所需的大量投资，那么在某个阶段，没有人愿意为更先进的人工智能提供资金，当前的人工智能热潮将消退（r < 1）。
当然，这并不意味着人工智能会消失——人们可能会创造出令人惊叹的人工智能艺术、机器人，甚至是女朋友机器。 只是大型模型的智能化将不再增长得那么快。
当山姆·奥特曼（Sam Altman）要求7万亿美元时，亚历山大认为他想以一种集中、快速和高效的方式完成这一过程。 建立自己的芯片工厂和发电厂，为他的下一个大模型做好准备。
如果他没有得到7万亿美元。 这个过程也会发生，但更慢、更分散、更分散。
亚历山大倾向于第二种情况：从安全的角度来看，我们需要更多的时间来为这种颠覆性技术做准备。
山姆·奥特曼（Sam Altman）之前分享过这个职位！ 他希望人工智能的发展尽可能循序渐进，而不是突飞猛进。 而保持渐进方法的方法之一是最大限度地提高现有芯片可以构建的人工智能水平，然后人工智能将以与芯片数量相当的速度（在最坏的情况下）发展。
但筹码的7万亿美元飞跃**！ 这似乎与循序渐进的立场背道而驰。
如果OpenAI所谓的安全是建立在尽快扩大人工智能规模的前提之上的，这怎么能放心呢？
本文是斯科特·亚历山大（Scott Alexander）撰写的文章“山姆·奥特曼想要7万亿美元”的翻译，由Astral Codex Ten撰写