Apache Beam升级后Dataflow写入Datastore性能骤降问题咨询

我近期将Apache Beam Dataflow管道从2.27版本升级至2.41版本，该管道需处理大量数据写入操作。升级前管道执行时长约8分钟，升级后执行时长超过30分钟。

升级前执行流程 #

升级后执行流程 #

升级前的管道中未显示Enforce ramp-up through throttling（通过限流强制逐步扩容）步骤。

问题原因判断 #

根据Apache Beam 2.32.0版本的更新日志：

DatastoreIO: 写入和删除操作现在遵循自动逐步扩容机制，符合最佳实践（Java/Python）

我判断此次写入延迟正是由该更新导致！

内容的提问来源于stack exchange，提问作者Mohamed Haydar