最近更新时间:2023.05.17 18:49:57
首次发布时间:2022.10.21 16:47:29
Proton 1.2.2 版本在 1.2.1 的基础上做了以下修复:
支持 checksum 接口,例如在 distcp 下可通过 checksum 进行一致性检查。
修复 mkdir -p 创建父目录在 HDFS 与 TOS 行为不一致的问题。
优化 sdk 性能,按照 bucekt 粒度,缓存 TOS Client。
下载地址:
下载地址:
兼容 1.1-dev 版本的参数,可以在不修改 1.1-dev 参数的情况下,正常运行。
支持集成 Flink,Flink 可以通过 Proton SDK 写 TOS。
优化 TOS SDK stream close 问题,提升读写性能。
下载地址:
1.1-dev 为 Proton 的第一个生产可用版本,主要包含以下内容:
兼容 HDFS FileSystem 接口,在不改变用户行为的前提下,实现各个计算引擎,例如 Hive,Spark 对对象存储 TOS 中的数据进行读写操作。
提供了 MR 和 Spark 的 Job Committer,极大的提升了对象存储的写入速度。
提升流控稳定性,由于访问对象存储有具体的带宽限制,当达到带宽限制后,请求会出现等待,以及超时等问题,Proton 中对重试做了特殊处理,避免重试发生在作业的 Task 端,降低带宽限制引起的重试成本。