IBM 着手扩展 Ceph,将其作为 AI 的底层数据存储

小夏 科技 更新 2024-02-18

IBM 正在扩展 CEPH 的块和文件存储功能,将其定位为存储规模并行文件系统下 AI 工作负载的后端数据存储。

Ceph 是一款开源横向扩展存储软件,在底层对象存储之上提供文件、块和对象存储接口,具有自我修复和自托管功能。 当IBM在2019年以340亿美元收购Red Hat时,它顺便包括了CEPH。 就在一年多前,IBM 决定将其 Ceph 产品从 Red Hat 迁移到 Storage,并将其更名为 Storage Ceph。 IBM Storage Ceph 业务总经理 Denis Kennelly 在上个月一篇关于 Ceph 的博客文章中宣布了他下一步的计划后,在简报中透露了更多信息。

denis kennelly

作为IBM存储业务(包括硬件和软件产品)的负责人,Kennelly表示,IBM大约三分之二的存储收入来自硬件,三分之一来自软件。 据Kennelly称,IBM将在2023年扩大其硬件存储市场份额,特别是高端DS8000阵列和FlashSystem全闪存阵列。 那么,CEPH的销售额是否相应增加? 他的回答很简单,“是的,当然。 ”

IBM Storage 目前专注于三个关键领域:混合云、AI 和数据恢复弹性。 CEPH 在混合云和 AI 领域都发挥着重要作用,有助于在将非结构化数据引入大型语言模型处理系统之前提供对非结构化数据的访问。

IBM 的 Storage Defender 产品与 Cohesity 有着长期的合作关系,收购 Cohesity-Veritas 加强了 Big Blue 在数据恢复和弹性方面的市场地位。 原则上,这笔交易将帮助IBM扩大其在Veritas客户群中的影响力。 Kennelly表示,“备份市场显然正在经历一波合并浪潮。 ”

回到 CEPH,Kennelly 认为 CEPH 充分满足了软件定义存储市场的需求。 “红帽将 Ceph、OpenShift 和容器技术结合在一起。 我们希望通过在商用硬件上运行完整的软件定义存储技术堆栈来加速这一过程,并考虑戴尔、HPE、联想、Supermicro 等公司的服务器存储硬件。 ”

在过去的一年中,IBM 通过增加对 NVMe TCP 的支持,同时提高了产品可用性,扩展了 Ceph 的块存储功能。 Kennelly 解释说,对于存储容量要求高达 100 TB 的 AI 项目,传统的 SAN 解决方案往往会捉襟见肘,相应的扩展计划可能需要 20 到 30 个独立的步骤。

他补充道:“在 CEPH 环境中,用户只需将 100 TB 的容量放入单个设备,将其添加到集群中,然后立即使用即可。 “Ceph 能够顺利处理所有事情。 “Watsonx 团队还与 CEPH 密切合作,”IBM 的生成式 AI 平台 Watsonx 说。

IBM 是否考虑过向 CEPH 添加 GPUdirect 支持? Kennelly 承认,“我们正在研究这个问题”,IBM Storage 已经提供了出色的软件,即具有并行文件系统的 Storage Scale,它可以通过 GPUdirect 快速将数据传输到 GPU 服务器。

Kennelly 还提到,“Storage Scale 支持 GPUdirect,我们可以将 Scale 与在后台运行的 Ceph 相匹配。 ”

Scale 还提供了一个可扩展的高性能文件系统缓存层,可以链接到 Ceph 后端。 AFM 使用户能够创建从本地 Scale 集群到隔离存储远程集群的关联,并定义文件数据位置流以实现自动化数据管理。 用户可以跨世界各地的站点构建数据存储的单个命名空间视图。

IBM一直在进行存储规模基准测试,Kennelly也对结果感到满意,并强调结果预计将在今年晚些时候公布。 scale-ceph 的基本思想是将数据存储在其原始位置,然后 IBM 将查询内容。 这与 Snowflake 和 Databricks 等供应商的“向我们提供数据,我们将对其进行查询”方法不同。

Kennelly 补充道:“随着对快速查询需求的增加,存储规模的优势得到了进一步凸显。 当然,用户可以直接选择NFS,但永远无法获得与Scale相媲美的性能。 ”

在他看来,“人工智能即将迎来重大变革,面对这个激动人心的时刻,我们还有很多工作要做。 ”

而CEPH将作为基础平台在这方面发挥重要作用。 通过使用存储作为底层数据存储解决方案,Ceph 会将自己管理的数据交付给在 GPU 服务器上运行的大型语言模型。

相似文章

    IBM 发布模块化量子计算机 IBM Quantum System2

    其中最重要的一点是,苍鹭可以相互连接,构建一个模块化的量子计算机。IBM 通过使用三个 Heron 量子芯片发布了 IBM QuantumSystem,实现了这一点。美国位于太平洋的另一边,如今在技术方面取得了长足的进步。根据参考资料com 消息,IBM 于 月 日推出了新型量子计算芯片和计算机。I...

    Rapidus在IBM的名单上,能否成功量产2nm芯片

    在全球半导体产业如火如荼之际,多家日本行业巨头联手催生了一家名为Rapidus的新公司。这不仅是资本的结合,也是对日本国内半导体技术发展的一次深度布局。Rapidus的成立,犹如一颗璀璨的星星,照亮了日本半导体产业的前进方向,其目标直接瞄准了nm芯片的量产,为全球半导体产业带来了新的挑战和机遇。Ra...

    Meta 和 IBM 联手开源 AI

    由于缺乏监管,对人工智能发展和安全的担忧继续迅速增长。最新的行业解决方案计划来自 Meta 和 IBM。这两家公司成立了一个名为人工智能联盟的组织。人工智能联盟的使命是 培养开放社区,使开发人员和研究人员能够加速人工智能领域负责任的创新 它被定义为 建立科学严谨性 信任 安全 保障 多样性和经济竞争...

    IBM 终于兑现了 1,000 个量子比特的承诺,量子计算进入了一个新时代

    最近,我发现IBM终于要到今年年底了,兑现了他们做超过个量子比特的承诺。就在最近,有消息称,他们已经成功开发出具有个量子比特的量子处理器condor。这一里程碑不仅标志着IBM在量子计算领域的重大突破,也为整个科技界带来了新的希望和可能性。但我们将继续等待谷歌兑现其超过个量子比特的承诺。首先,让我们...

    迪士尼、苹果、IBM暂停X平台广告,马斯克去他妈的

    自 年底收购 X 平台以来,埃隆 马斯克 Elon Musk 一直在为 X 前身为 Twitter 的广告商流血,这已经不是什么秘密了。自从马斯克在为这家社交 公司支付了约亿美元后,将水槽带入Twitter总部,让全世界知道他负责这个地方以来,马斯克已经从公司名称到其政策以及监管平台上内容的方式进行...