如今，减少延迟的最佳方法是尽可能使用 NVIDIA 互连技术。 当然，如果你能忍受较慢的训练速度，继续使用传统技术并非不可能。
Dell'Oro分析师Sameh Boujelbene表示，对AI功能不断增长的需求将推动数据中心交换市场增长50%。 他还表示，网络交换领域即将掀起一股重大的技术创新浪潮。
Boujelbene估计，人工智能系统目前占总网络交换地址的“远低于10%”，其中约90%是用英伟达的Mellanox Infiniband而不是传统的以太网部署的。 这些部署将 NVIDIA 的网络收入提高到每年 100 亿美元，使其成为该领域的第二大参与者，超过了瞻博网络和 Arista。
这绝非偶然：当涉及到 AI 工作负载时，带宽和延迟始终是重中之重。 Infiniband 的延迟非常低，因为它的架构可以减少数据包丢失。 相比之下，以太网中的数据包丢失要严重得多。
虽然许多应用程序可以处理数据包丢失，但它会减慢 AI 训练速度，并且本质上成本高昂且耗时。 这可能就是Microsoft在为机器学习工作负载构建数据中心时选择Infiniband的原因。
然而，Infiniband也有其自身的缺点，首先，原始传输带宽的上限往往小于以太网。 NVIDIA 最新的 Quantum Infiniband 交换机端口能够实现高达 25 种传输速度6 TB 秒，每个端口 400 GB 秒; 相比之下，以太网交换速度在大约两年前达到 512 TB 秒，或单个端口 800 GB 秒。
在传统的数据中心中，这种快速套件只能在聚合层实现。 对于常规服务器节点来说，很少会用尽其 400 GB 第二端口带宽的四分之一，更不用说用完四分之一了。
但 AI 集群的情况完全不同。 常见的AI节点通常需要为每个GPU配备一个400GB的第二块网卡。 但是，单个节点可以容纳 4 到 8 个 GPU（NIC 的数量也必须同时增加），并且它通常充满了 AI 工作负载生成的巨大数据流。
Boujelbene 将两个相互竞争的标准 Infiniband 和以太网分别与速度较慢但拥堵较少的国道（Infiniband 和限速较高但偶尔发生碰撞的高速公路）进行了比较。
虽然以太网在传输带宽方面具有技术优势，但其他现实世界的瓶颈，例如网卡的可用PCIe带宽，往往会被消除。
2024年已经到来，我们可以选择的最高技术标准是PCIe 50。双向带宽约为 64 Gb/s，这意味着需要 16 个端口才能支持单个 400 Gb/s 接口。
包括英伟达在内的一些芯片制造商已经巧妙地将PCIe交换集成到其网卡中，以提高性能。 这种加速设计不是将 GPU 和 NIC 塞进 CPU，而是通过 PCIe 交换机以菊花链方式连接网络接口。 我们推测 PCIe 60 或 7在0标准出现之前，NVIDIA就以这种方式实现了800 Gb/s和1600 Gb/s的网络传输性能。
Dell'oro 预计，到 2025 年，部署在 AI 网络中的绝大多数交换机端口将以 800 Gb 秒的速度运行; 到 2027 年，这个数字将翻一番，达到 1600 GB 秒。
除了保持更高的传输带宽外，以太网交换领域最近还在进行创新，以解决其与 Infiniband 互连技术相比的缺点。
但这一切都在英伟达的计算范围内。 具有讽刺意味的是，随着 SpectrumX 平台的推出，英伟达反而成为无损以太网技术的最大支持者。
根据 NVIDIA 网络部门营销副总裁 Gilad Shainer 在之前的采访中解释说，Infiniband 更适合运行少量超大规模工作负载的用户，例如 GPT-3 或数字孪生建模。 但在更动态的大规模云环境中，以太网解决方案往往是首选。
以太网的开放性和适应大多数工作负载的能力是它如此受云服务提供商和超大规模基础设施运营商欢迎的原因。 无论是为了避免管理双栈网络的麻烦，还是为了防止被少数 infiniband** 供应商锁定，他们都有充分的理由选择以太网技术。
Nvidia 的 SpectrumX 产品组合结合了自己的 512 TBS Spectrum-4 以太网交换机配备 Bluefield-3 SuperNIC，具有 400 GB 第二 RDMA 融合以太网 （ROCE），可提供可与 Infiniband 性能相媲美的网络性能、可靠性和延迟。
博通在其战斧和杰里科交换机系列中也做出了类似的选择。 这些交换机要么使用数据处理单元来管理拥塞，要么通过去年发布的Jericho3-AI平台处理顶架交换机的拥塞。
Boujelbene表示，很明显，博通在超大规模基础设施运营商和亚马逊网络服务（Amazon Web Services）等云服务提供商方面取得了成功。 NVIDIA SpectrumX 的作用还在于将这项工作整合到一个平台中，从而轻松设置无损以太网。
虽然Microsoft显然偏爱 Infiniband 的 AI 云基础设施，但亚马逊网络服务正在其 16,384 个 GH200 计算集群（在 2023 年底的最新 Re： Invent 大会上正式宣布）在其 Elastic Fabric Adapter 2 （EFA2） 中使用改进的拥塞管理进行互连。
虽然Dell'Oro预计Infiniband将在可预见的未来继续占据其在AI交换领域的主导地位，但它也预计以太网技术将大幅增长，到2027年将收入份额提高到20个百分点。 这一变化的背后，主要驱动力是那些云服务提供商和超大规模数据中心运营商。