NVIDIA 是全球领先的图形处理单元 （GPU） 和人工智能 （AI） 芯片制造商，广泛应用于游戏、数据中心、高性能计算、机器学习等领域。 近日，英伟达在其2024年GTC大会上发布了基于全新Hopper架构的H100 AI芯片，该芯片采用台积电最先进的4nm工艺，集成了800亿个晶体管，拥有18432个CUDA核心和576个Tensor核心，是目前全球最强大的AI加速器。
然而，H100 AI芯片的强大性能也伴随着巨大的能耗。 根据英伟达官方数据，H100 AI芯片的峰值功耗高达700瓦，超过了美国普通家庭的平均功耗。 [2] [2] 以 61% 的年利用率计算，每颗 H100 AI 芯片每年将消耗约 3,740 千瓦时 （kWh） 的电力。 [ 3 ] [3] 到 2024 年底，将部署 350 万颗 H100 AI 芯片，年总功耗为 13,09182 吉瓦时 （GWh）。 立陶宛或危地马拉等国家每年仅消耗约 13,092 GWh 的电力。
这意味着，如果将所有的H100 AI芯片放在一起，它们的年耗电量将超过一些欧洲小国，甚至接近美国一个大城市的水平。 这对环境和能源有重大影响。 一方面，H100 AI芯片的高能耗将增加温室气体排放，加剧全球变暖问题。 另一方面，H100 AI芯片的高能耗也会增加用电压力**，可能导致电价**或缺电风险。
那么，英伟达为什么要推出这样一款能耗惊人的AI芯片呢？英伟达CEO黄仁勋在发布会上表示，H100 AI芯片旨在满足下一代AI数据中心的需求，推动大规模AI语言模型、深度推荐系统、基因组学和复杂数字孪生的发展。 他认为，H100 AI芯片的性能和效率远超其他竞争对手，可以为客户提供更好的AI服务和体验。
事实上，H100 AI芯片在AI跑分方面确实创造了多项纪录，展现了其在AI训练和推理方面的优越性。 例如，H100 AI 芯片能够将混合专家模型的训练速度提高 9 倍，将训练时间从数周缩短到数天H100 AI 芯片能够将聊天机器人推理速度提高 30 倍，同时满足即时对话式 AI 的亚秒级延迟。
据英伟达称，H100 AI芯片的能耗问题可以通过优化软硬件的协同，以及使用可再生能源和节能措施来缓解。 [ 3 ][3] 英伟达还表示，H100 AI芯片的能耗与其带来的AI价值成正比，H100 AI芯片可以帮助解决人类面临的一些重大挑战，如医学诊断、药物发现、气候变化、智能交通等，从而为社会和经济带来巨大效益。
H100 AI芯片的发布，无疑彰显了英伟达在AI领域的技术实力和雄心，也引发了行业和公众对AI能耗的关注和讨论。 H100 AI芯片能否平衡性能和能耗，能否为AI的发展带来更多收益而不是负面影响，还有待进一步观察和评估。