IBM 正在扩展 CEPH 的块和文件存储功能,将其定位为存储规模并行文件系统下 AI 工作负载的后端数据存储。
Ceph 是一款开源横向扩展存储软件,在底层对象存储之上提供文件、块和对象存储接口,具有自我修复和自托管功能。 当IBM在2019年以340亿美元收购Red Hat时,它顺便包括了CEPH。 就在一年多前,IBM 决定将其 Ceph 产品从 Red Hat 迁移到 Storage,并将其更名为 Storage Ceph。 IBM Storage Ceph 业务总经理 Denis Kennelly 在上个月一篇关于 Ceph 的博客文章中宣布了他下一步的计划后,在简报中透露了更多信息。
denis kennelly
作为IBM存储业务(包括硬件和软件产品)的负责人,Kennelly表示,IBM大约三分之二的存储收入来自硬件,三分之一来自软件。 据Kennelly称,IBM将在2023年扩大其硬件存储市场份额,特别是高端DS8000阵列和FlashSystem全闪存阵列。 那么,CEPH的销售额是否相应增加? 他的回答很简单,“是的,当然。 ”
IBM Storage 目前专注于三个关键领域:混合云、AI 和数据恢复弹性。 CEPH 在混合云和 AI 领域都发挥着重要作用,有助于在将非结构化数据引入大型语言模型处理系统之前提供对非结构化数据的访问。
IBM 的 Storage Defender 产品与 Cohesity 有着长期的合作关系,收购 Cohesity-Veritas 加强了 Big Blue 在数据恢复和弹性方面的市场地位。 原则上,这笔交易将帮助IBM扩大其在Veritas客户群中的影响力。 Kennelly表示,“备份市场显然正在经历一波合并浪潮。 ”
回到 CEPH,Kennelly 认为 CEPH 充分满足了软件定义存储市场的需求。 “红帽将 Ceph、OpenShift 和容器技术结合在一起。 我们希望通过在商用硬件上运行完整的软件定义存储技术堆栈来加速这一过程,并考虑戴尔、HPE、联想、Supermicro 等公司的服务器存储硬件。 ”
在过去的一年中,IBM 通过增加对 NVMe TCP 的支持,同时提高了产品可用性,扩展了 Ceph 的块存储功能。 Kennelly 解释说,对于存储容量要求高达 100 TB 的 AI 项目,传统的 SAN 解决方案往往会捉襟见肘,相应的扩展计划可能需要 20 到 30 个独立的步骤。
他补充道:“在 CEPH 环境中,用户只需将 100 TB 的容量放入单个设备,将其添加到集群中,然后立即使用即可。 “Ceph 能够顺利处理所有事情。 “Watsonx 团队还与 CEPH 密切合作,”IBM 的生成式 AI 平台 Watsonx 说。
IBM 是否考虑过向 CEPH 添加 GPUdirect 支持? Kennelly 承认,“我们正在研究这个问题”,IBM Storage 已经提供了出色的软件,即具有并行文件系统的 Storage Scale,它可以通过 GPUdirect 快速将数据传输到 GPU 服务器。
Kennelly 还提到,“Storage Scale 支持 GPUdirect,我们可以将 Scale 与在后台运行的 Ceph 相匹配。 ”
Scale 还提供了一个可扩展的高性能文件系统缓存层,可以链接到 Ceph 后端。 AFM 使用户能够创建从本地 Scale 集群到隔离存储远程集群的关联,并定义文件数据位置流以实现自动化数据管理。 用户可以跨世界各地的站点构建数据存储的单个命名空间视图。
IBM一直在进行存储规模基准测试,Kennelly也对结果感到满意,并强调结果预计将在今年晚些时候公布。 scale-ceph 的基本思想是将数据存储在其原始位置,然后 IBM 将查询内容。 这与 Snowflake 和 Databricks 等供应商的“向我们提供数据,我们将对其进行查询”方法不同。
Kennelly 补充道:“随着对快速查询需求的增加,存储规模的优势得到了进一步凸显。 当然,用户可以直接选择NFS,但永远无法获得与Scale相媲美的性能。 ”
在他看来,“人工智能即将迎来重大变革,面对这个激动人心的时刻,我们还有很多工作要做。 ”
而CEPH将作为基础平台在这方面发挥重要作用。 通过使用存储作为底层数据存储解决方案,Ceph 会将自己管理的数据交付给在 GPU 服务器上运行的大型语言模型。