在一年一度的云科技春节晚会上——亚马逊云科技旗下的Re:Invent,在最受关注的CEO主题演讲中,发布的第一款产品居然是存储产品,那就是亚马逊S3 Express One Zone。
同时,我发现这是一款违反广告法的存储产品。
亚马逊云科技首席执行官亚当宣布,Amazon S3 Express One Zone是目前云上最快的对象存储解决方案。
加速加速,超低延迟对象存储来了!
Amazon S3 Express One Zone 是 S3 对象存储的增强版本,其性能是标准 S3 的 10 倍,每秒能够处理数十万个请求(具体数量尚不清楚),延迟恒定为几毫秒。
主要用于金融交易分析、实时广告推荐、欺诈检测、机器学习、习训练等对时延敏感的工作负载,这些工作负载往往需要在短时间内进行数百万次数据访问,时延要求较高。
以前,为了提供这种性能,用户需要将数据从 S3 移动到某个缓存加速解决方案。 但是,当用户需要管理多个存储基础架构时,事情可能会很复杂。
现在,有了 Amazon S3 Express One Zone。
事实上,它使用专用的硬件和软件来加速它,并且它存储在单个可用区中,允许用户手动选择将热数据放置在特别靠近高性能计算能力的地方,包括 EC2、ECS 和 EKS,以更好地降低延迟。
我记得亚马逊网络服务在 2019 年收购了全闪存初创公司 E8,从那以后,我再也没有听说过 E8。 至于这次是否使用了E8的技术。 你猜!?
低延迟可提高小对象的性能
由于其低延迟,Amazon S3 Express One Zone 可为小型对象提供更好的性能。
通常,对象存储在处理大量小文件时的性能可能不如其他存储系统,频繁读取和写入大量小文件会导致存储系统性能下降。
这是因为对象存储系统在处理每个对象时,在处理元数据时会产生一定的延迟开销。 此外,读取或写入对象需要一定的时间。
如果对象的大小比较小,那么基础延迟开销在整个进程中占比较高,系统开销的比重较高,此时的读写带宽也比较低。
当对象体积比较大时,整个读写过程中大部分时间都是传输数据,开销占比较小,读写带宽会更高。
因此,当系统延迟相对较低时,小对象受益匪浅,与标准版 S3 相比,性能最多可提升 10 倍。
S3 的低延迟帮助用户降低成本
更高性能的 S3 对象存储层通常意味着更高的成本(本文末尾有更多信息),但实际上,Amazon Web Services 想说的是它节省了资金!
当用户使用突发实例和按需实例时,如果与极低延迟的 S3 存储配对,他们可以更快地处理任务并尽快释放这些计算资源,从而降低成本。
没错,这里节省的不是存储成本,而是云托管的成本。
当面对数据密集型工作负载时,整个系统的正常运行时间可能会大大减少,尤其是当需要成百上千台机器协同工作时,这可以显著降低成本。
Adam 分享了一个 Pinterest 故事,其中写入速度提高了 10 倍,而总体成本降低了 40%。
Amazon S3 于 2006 年推出,改变了人们使用和使用存储的方式,能够随时随地访问任意数量的数据。
方便真的方便,贵就是真的贵,为了降低成本,亚马逊云科技前后都有很多操作。
例如,Amazon S3 Deep Archive 是一种后来发布的低成本存档存储,将成本降低到每 GB 不到 1 美分。
后来,随着 Amazon S3 层数量的增加,后来又引入了 Amazon S3 智能平铺,它会自动帮助用户在层之间迁移数据。
Adam表示,自Smart Tiering发布以来,用户已经节省了超过20亿美元,这是一个可观的数字。
Amazon S3 Express One Zone 的特别之处
Amazon S3 Express 单区支持常见的 S3 API 函数以及一系列 S3 功能。
但与其他 S3 不同的是,它具有新的存储桶类型(目录存储桶)、新的身份验证模型和新的存储桶命名约定。
上图是 Jeff Bar 在其博客中分享的关于将现有 S3 存储桶中的数据放入新创建的 Amazon S3 Express One Zone 目录存储桶的图表。
之后,它将执行自己的批处理操作,并将数据复制到高性能存储桶中。
目前,Amazon SageMaker Model Training、Amazon Athena、Amazon EMR 和 AWS Glue Data Catalog 支持 Amazon S3 Express 单区。
目前,美国东部 (n.弗吉尼亚州)、美国西部(俄勒冈)、亚太地区(东京)和欧洲(斯德哥尔摩)可用,但在中国不可用。
尽管数据仅放置在一个可用区中,但它比标准 S3 (0.16 vs 0.023),毕竟性能高,贵点还行,不是吗?更重要的是,数据访问成本比标准 S3 低 50%!
最后,需要注意的是,它只存在于单个可用区中,如果单个可用区发生故障,数据可能会丢失。
Jeff Bar博客原文介绍: