确认Apache Beam/Dataflow性能退化是否关联grpcio 1.45.0及后续版本
关于Apache Beam/Dataflow Worker性能退化问题的反馈
我也碰到了完全一致的问题:
- 当使用
grpcio1.45.0及后续版本时,Beam/Dataflow Worker的CPU使用率始终无法跑满,任务处理效率大幅下降; - 切换到
grpcio1.44.0版本后,CPU使用率稳定维持在100%,任务耗时直接降低了近25%。
另外,我在不同区域的Dataflow集群以及不同机器配置上都复现了这个现象,说明这大概率是一个普遍存在的问题,不是个例。你可以尝试锁定grpcio的版本为1.44.0来临时解决这个性能问题。
内容的提问来源于stack exchange,提问作者Ryan Tam
相关产品推荐
相关产品推荐

