You need to enable JavaScript to run this app.
火山引擎携手Alluxio,为AI业务数据存储与访问提速
最近更新时间:2024.07.22 11:47:17首次发布时间:2024.07.22 11:47:17

近日,火山引擎对象存储 TOS 与 Alluxio 平台实现集成。结合火山引擎对象存储 TOS 的海量、低成本特性,以及 Alluxio 的数据加速能力,双方将共同为用户提供经济高效的存储及 AI 加速解决方案,通过快速访问、高可用性、高容错性以及灵活的数据管理等功能和特性,使用户在 AI 业务场景中,大幅降低 GPU 的等待时间,让用户以更加卓越的体验,应对不断增长的数据需求。

Alluxio 是全球领先的高性能数据平台提供商,聚焦 AI 和大数据分析场景。其 Alluxio 高性能数据平台可综合优化企业 AI 和分析基础设施的性能、数据可访问性、可扩展性和成本效益,助力生成式 AI、计算机视觉、自然语言处理、大语言模型和高性能数据分析等下一代数据密集型应用的发展。

内容来源于 Alluxio 官网


火山引擎对象存储 TOS 是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。通过网络,用户可以在任何应用、任何时间、任何地点管理和访问 TOS 上的数据。TOS 具备以下四大优势:

超10EB 级海量规模:对象存储 TOS 部署规模超过 10EB 级,每日新增对象数量过亿,集群规模业界前列;

超高性价比:支持按需使用、按量付费,无需提前购买存储空间;支持智能分层存储类型,能够根据访问对象的频率,自动转换对象的访问层级,降低存储成本;

高可靠:99.9999999999%(12个9)的数据持久性保障,通过分布式架构,对数据进行多设备冗余存储,实现数据安全可靠地存储与管理;

更安全:提供丰富的权限控制机制,完备的服务端加密机制,满足数据合规要求。

在 AI 大模型的推动下,AI 数据上云体量呈指数级增长,存储计算分离逐渐成了大数据处理的重要趋势。对象存储 TOS 将与 Alluxio 携手为用户构建经济高效的存算分离解决方案,使用户可以更高效、更灵活、更低成本地存储和访问数据,实现高性能数据分析:

数据访问灵活高效,开发与应用更便捷:用户可通过多种方式的接口,灵活高效访问 TOS 存储的数据,极大地简化数据开发处理;

高性能数据访问,快速响应 AI 业务需求:Alluxio 挂载 TOS 后,用户可以获得更高的数据访问效率和读写性能;

实现97% GPU 利用率,加速 AI 工作负载:Alluxio 帮助需要大量数据的 GPU 实现高吞吐和低延迟,使训练集群能够在高性能分布式缓存中持续、高效地获取数据,确保 GPU 在计算过程中几乎无等待时间;

更经济的数据管理策略,成本大幅降低:TOS 通过对冷热数据的分层存储管理,将活跃度较低的数据迁移至成本更低的存储层,保持高频访问数据在高性能存储层,以此优化存储资源的利用效率,大幅降低网络传输流量和 API 调用成本。

“火山引擎一直致力于为客户提供灵活、高效、易用的 AI 及大数据领域解决方案。此次火山引擎与 Alluxio 的技术合作,充分发挥了双方在计算存储连接能力、海量数据的存储访问和管理能力以及数据加速方案上的优势,共同助力企业客户有效挖掘数据价值,快速构筑其 AI 及数据分析领域的各项服务能力。”——林宇 火山引擎 数据湖生态存储负责人

“Alluxio 与火山引擎的合作令人激动万分,为新一代 AI 数据平台的构建提供了一套既创新,又极具技术含量的解决方案。它打破了数据规模、高性能 I/O 和成本之间的‘三角不可能’,不论训练集群在公有云、私有云或是混合云的方式部署,都能够使数据访问性能、成本节省、数据管理三个方面得到全面提升。”——傅正佳 Alluxio 首席解决方案架构师

End

火山引擎作为字节跳动旗下的云服务平台,致力于推动云计算技术的发展和应用,为各行业的数字化转型提供有力支持。未来,火山引擎对象存储 TOS 将支持分层命名空间等更多功能,支持企业用户零成本接入,通过对象及文件语义的完全互通,在实现真正的“一份数据多种访问”的同时,支持目录级的重命名及移动等操作,提升数据处理效率与性能,满足企业在“AI +大数据”场景下对数据存储和访问体验的需求,帮助企业深挖数据潜在价值,实现 AI 应用高效落地。