随着AI大模型参数规模的不断扩大，对算力的需求也在急剧增加。 为了满足这一需求，各行各业都在积极开发和建设大规模的计算基础设施，导致各种专用AI加速芯片供不应求，不仅采购困难，而且成本高昂。 因此，一些公司将注意力转向了目前最流行的硬件产品——CPU（**处理器）。 近日，第五代英特尔至强可扩展处理器的出现，再次在业界看到，使用CPU也能提升AI的效率，在CPU上运行AI也能很“香”。
CPU在AI领域的新使命
据了解，与训练相比，AI推理对计算资源的需求相对较小，对于一些推理任务轻的企业或行业来说，选择CPU比专业的AI加速芯片更具成本效益。 同时，由于 CPU 是当今最流行的硬件，因此大多数企业都乐于利用更广泛、基于 CPU 的 IT 基础设施和架构的部署来避免异构平台的部署挑战。 将AI加速引入传统架构，是CPU在这个时代的新使命。
第 5 代英特尔至强可扩展处理器应运而生。 该处理器将内核数量增加到 64 个，并配备 320MB 的 L3 缓存和 128MB 的 L2 缓存。 与上一代处理器相比，单核性能和核心数量都有显着提高。 在相同的功耗下，第 5 代至强可扩展处理器的平均性能提高了 21%，内存带宽提高了 16%，缓存容量提高了近 3 倍。
同时，第五代至强可扩展处理器的每个核心都配备了AI加速功能，与上一代相比，训练性能提升了29%，推理能力提升了42%。
在AI负载处理能力方面，第五代至强可扩展处理器也得到了显著提升。 从至强可扩展处理器开始，英特尔高级矩阵扩展 （Intel AMX） 作为内置 AI 加速引擎推出，这是一项创新，使 CPU 能够更高效地处理 AI 工作负载。 英特尔** X-512 指令集也内置于至强 5 中，该指令集与更快的内核和更快的内存一起，进一步提高了 AI 性能，使生成式 AI 能够执行更多工作负载，而无需单独的 AI 专用加速器。 随着自然语言处理推理性能的飞跃，它更好地使企业能够更好地支持机器人、聊天机器人、文本、语言翻译等工作负载的响应能力。 借助该处理器，开发人员可以推理和调整具有多达 200 亿个参数的大型语言模型，在运行参数少于 200 亿个参数的模型时，响应延迟小于 100 毫秒。
护送云服务提供商
生成式AI的爆发给云计算行业带来了新的机遇，但也带来了挑战。 由于大模型需要巨大的算力，云厂商需要尽快升级数据中心的算力，以满足AI需求，并持续降低TCO（总拥有成本），为用户提供最合理的计算资源。 此外，AI应用开发还涉及大量隐私敏感数据的云存储和使用，云厂商需要对现有硬件基础设施进行升级，以保证这些数据的安全可靠，打消用户的后顾之忧。
第五代英特尔至强可扩展处理器从软件和硬件两个方面为云服务提供商构建了良好的生态系统。 在硬件方面，英特尔 SGX TDX 解决方案为云中的数据提供端到端的硬件级保护功能。 在软件方面，英特尔在PyTorch、TensorFlow和OpenVino工具包的行业标准框架中，为第五代至强可扩展处理器提供了优化，使云厂商和用户能够快速利用英特尔AMX等处理器功能，以较低的进入门槛突破AI应用的计算瓶颈。
第五代英特尔至强可扩展处理器为云服务提供商提供坚实的计算能力支持。 它不仅降低了运营成本，而且为数据安全提供了强大的屏障。 更重要的是，它优化了AI应用开发，让云服务商也能体验到在CPU上运行AI的“甜蜜”。
企业启动“先行者”模式
英特尔CEO帕特·基辛格在2024年英特尔ON技术创新大会上表示：“在这个人工智能技术快速发展和产业数字化转型的时代，英特尔保持高度的责任感，帮助开发者让AI技术无处不在，让AI更易触达、更可见、更透明、更值得信赖。 ”
据了解，目前数据中心中 70% 的推理运行使用英特尔至强可扩展处理器。 随着第五代至强可扩展处理器的诞生，一些公司开始了“抢先采用者”模式，其产品在AI性能方面也得到了显著提升。
11.11期，京东云通过基于第五代Intel Xeon可扩展处理器的新一代服务器成功应对业务量激增，与上一代服务器相比，整机性能提升123%，AI计算机视觉推理性能提升至138%， LLAMA 2 推理性能提升至 151%。轻松应对高峰用户访问量同比增长170%、智能客服咨询量超过14亿次的压力。
基于第五代英特尔至强可扩展处理器，Volcano Engine 的第三代 Flex 计算实例将计算能力提升了 39%，应用性能提升了 43%。 在性能提升的基础上，Volcano Engine 通过其独特的潮汐资源池能力，构建了百万核弹性资源池，可以以类似的月度成本提供按量付费的体验，降低上云成本。
借助第 5 代至强可扩展处理器的内置加速器，您可以提供平均 10 倍的每瓦性能提升，功耗低至 105W，同时运行工作负载优化的节能 SKU。
阿里云搭载第五代英特尔至强可扩展处理器，内置英特尔 AMX 和英特尔 TDX 加速引擎，打造了“生成式 AI 模型和数据保护”的创新实践，显著提升了第 8 代 ECS 实例的安全性和 AI 性能，并为客户保持了实例**不变。
其中包括推理性能提高 25%、QAT 加密和解密性能提高 20%、数据库性能提高 25% 以及音频性能提高 15%。
如果把数据中心想象成一台超级计算机，CPU就是它的“大脑”。 第五代英特尔至强可扩展处理器作为“超级大脑”，在数据中心的高效运行和AI应用的实现中发挥着至关重要的作用。
AI落地时代已经开始，CPU的“春天”即将到来。 作者丨沈聪 编辑丨张欣怡梅 编辑丨Maria 制片人丨连晓东