空来了! 昆腾存储系统的“三驾马车”满足AI的刚性需求

小夏 科技 更新 2024-03-01

人工智能发展得太快了! 当人们还没有完全体会到文盛温和文盛图大模型带来的巨大便利时,OpenAI SORA就来了! 它的诞生标志着AI模型开始进入一个更加“先进”的文盛**时代! 现在,有了SORA模型,任何人都可以简单地输入简单的文本,以产生详细的、具有视觉吸引力的**。

可以预见,大量文盛机型将迅速推出,势必会极大地推动影视、广告、传媒、短片等行业的快速发展。 同时,海量的非结构化数据也将以更快的速度增长,这对存储系统提出了更高的要求和挑战。

除了对算力的巨大需求外,AI对存储能力的需求也非常高。 AI对存储的“刚性要求”是什么?

训练数据存储AI模型的训练通常需要大量的数据,包括图像、文本、音频、**等各种类型的数据。 这些数据需要存储空间来保存和在预处理、特征提取和模型训练期间读取。

模型参数存储:深度学习等AI模型的参数规模往往非常大,GPT等大型语言模型的参数数量可以达到数十亿甚至数千亿。 训练好的模型参数需要长期存储,以备后续使用或进一步优化。

存储中间结果:训练过程中产生的中间结果、日志信息、版本迭代记录也会占用存储空间。

高速接入要求AI训练对IO性能要求很高,尤其是对于那些大规模并行计算任务,高效的分布式存储系统是必不可少的,可以快速读写大量数据,提高训练效率。

实时 近乎实时的数据处理在AI推理阶段,特别是对于实时或近乎实时的AI应用,如智能安防监控、自动驾驶等,需要快速存储和处理源源不断的新数据流。

人工智能的发展推动了对高容量、高性能存储技术的需求,包括 SSD、分布式文件系统、对象存储服务和其他存储解决方案。 同时,也推动了存储架构的创新,比如使用缓存加速和分层数据存储来满足不同级别的存储需求。

针对AI的存储需求,昆腾已经做好了完美的布局,推出了Myriad、Stornext和ActiveScale存储系统的“三驾马车”。

昆腾的 Myriad 全闪存横向扩展文件和对象存储平台

Quantum Myriad 是一款专为现代数据中心和 AI 工作负载而设计的高性能存储解决方案。 这款全闪存存储平台强调其速度、可扩展性和与硬件无关的设计,可满足数据密集型工作负载的需求,尤其是涉及 AI 模型存储、训练数据管理和高性能计算用例的工作负载。

全闪存设计Myriad平台专为闪存驱动器而设计,利用闪存技术的高性能和低延迟,使其成为现代企业非结构化数据存储需求的理想选择**。

横向扩展体系结构:无共享可扩展架构意味着系统可以随着数据的增长而水平扩展,而不会牺牲性能,延迟极低。

多协议支持客户端组件包括对 NFS(网络文件系统)、SMB(服务器消息块,即 Windows 文件共享协议)、S3 对象存储协议的支持,以及可能的专有服务和 GPU 直接连接服务,以满足不同的数据访问需求。

文件和对象存储融合:既作为文件系统运行,又作为对象存储平台运行,支持混合工作负载,并促进对不同类型数据的统一管理和访问。

数据服务层功能丰富:支持内联重复数据删除和压缩,减少存储空间消耗; 提供快照和克隆功能以加快备份和恢复操作; 此外,AI ML 数据处理经过优化,可加速机器学习和深度学习模型的训练。

Kubernetes 编排通过采用 Kubernetes 容器编排技术,Myriad 的微服务架构可以实现更好的资源分配和故障恢复,进一步降低时延,提高系统的并发处理能力。

高性能和低延迟:基于闪存和RDMA(远程直接内存访问)技术,即使在高负载下也能保持高水平的IO性能。

昆腾 StorNext 共享存储文件系统

昆腾 StorNext 是一个高度可扩展的共享存储文件系统和数据管理平台,以其卓越的性能、大数据传输速度和整合多种存储介质的能力而闻名,尤其是在 ** 和娱乐行业。 StorNext 具有一些关键功能,使其成为支持 AI 应用程序需求的有效方式。

高性能存储: AI 工作负载,尤其是深度学习和机器学习训练,需要快速、持续地大规模访问数据。 StorNext 提供的高速文件系统和数据迁移能力保证了训练数据的高效流动,从而缩短了训练周期。

数据管理和分层存储:StorNext 支持数据生命周期管理,可根据数据的重要性、频率和成本,自动在不同层存储介质之间迁移数据,有助于优化从原始数据引入和预处理到模型训练再到 AI 项目模型部署的整个过程的成本效益。

云集成StorNext 与 AWS、Azure 和 Google Cloud 等公有云服务集成,使用户可以轻松地在云中大规模存储和处理数据,这对于使用云计算资源的 AI 训练和分析特别有用。

大规模数据处理能力AI 应用程序通常涉及处理 PB 级和 EB 级的非结构化数据,而 StorNext 能够管理和处理此级别的数据量,以确保数据完整性和可用性。

跨平台支持得益于 Stornext 的 POSIX 兼容性和广泛的 API 支持,它可以与各种操作系统和应用程序环境无缝连接,使 AI 开发人员可以轻松地在不同的 AI 框架下工作。

昆腾 ActiveScale 对象存储系统

昆腾 ActiveScale 是一个高度可扩展的对象存储系统,用于存储和管理大量非结构化数据。 对于AI工作负载,昆腾ActiveScale主要体现在以下几个方面:

大规模数据存储人工智能和机器学习项目通常涉及大量数据的收集、存储和处理。 ActiveScale提供基于对象的存储架构,可以轻松扩展到EB级,以满足AI训练所需的大规模数据存储需求。

构建数据湖ActiveScale作为数据湖的基础设施,可以集中存储各种非结构化数据,如图像和日志文件,这些都是AI模型训练的重要输入。

数据分析友好通过与Hadoop、Spark等大数据处理框架集成,ActiveScale可以支持AI相关的数据预处理和特征提取,简化AI开发过程中的数据准备。

高性价比ActiveScale通过结合磁盘、磁带等低成本存储介质的分层存储策略,实现对冷热数据的高性价比管理,帮助企业在控制成本的同时应对AI应用带来的巨大存储压力。

API 集成ActiveScale支持S3接口和其他标准API,可以轻松与各种AI开发平台和服务集成,使数据可以直接流入AI训练管道。

相似文章

    2024 Sora 来了! “移动代理”也来了!

    近日,Open AI发布了一款基于文本生成超现实的工具Sora,各种震撼工具在科技圈引爆了屏幕,人气持续发酵,占据了AI领域的话题中心,被认为是AGI落地过程中的一大里程碑。新一波的人工智能浪潮对人类未来的生产和生活方式带来了巨大而深远的影响,与此同时,基于大模型的智能体正在颠覆我们的未来。月日,R...

    高级存储力量Sora爆炸,全闪存存储要火了

    AI大模型的发展正在取得长足的进步,从用于文本生成的ChatGPT到用于文生 的SORA到多模态交互不断迭代。在大模型演进和实现的过程中,数据存储系统面临着性能挑战 运行稳定 成本压力。中科曙光存储推出 Pastor 分布式全闪存存储,采用业界首创的 XDS 技术,具有训练加速 稳定性强 性价比高的...

    Sora来了,你离AI还有多远

    在当今瞬息万变的技术时代,人工智能 AI 蓬勃发展,涌现出许多前沿技术。比如OpenAI刚刚推出的另一款革命性产品 文本生成模型Sora,就已经在年初引爆了全网的热议。在文盛 时代被颠覆的同时,人工智能还能为我们做些什么?大家都好奇体验的AI,激发了科技爱好者的极大热情,甚至引起了公众的广泛关注。通...

    空来了,谁的饭碗会被砸?

    OpenAI官网截图。短短几句话就能产生秒的爆炸 美国开放人工智能研究中心 OPENAI 推出的生成模型SORA最近震惊了世界。OpenAI 推出 ChatGPT 才一年多,它再次投下了一颗重磅炸弹。文生 AI模型SORA有什么了不起的地方?对行业有什么影响?有哪些隐患?新华社记者为您解案 Sora...

    空来了,谁的饭碗会被砸?

    在当今的数字时代,生成模型不再是一个陌生的概念。然而,最近,一种名为SORA的文盛大型模型引起了全世界的广泛关注。索拉有什么了不起的地方?它将如何影响行业?有哪些隐患?谁的工作甚至可能被砸碎?让我们开始吧。.Sora 的神奇之处 SORA生成模型的惊人之处在于其高度逼真的生成效果。与传统的生成技术相...