Apache Beam Python SDK是否支持IntraBundleParallelization及相关计划问询

咱们先直接给个明确结论：目前Python SDK还不具备和Java SDK完全一致的IntraBundleParallelization支持。Java那边依托JVM的线程模型，能在单个bundle内部并行处理元素；但Python因为GIL（全局解释器锁）的存在，多线程的并行收益确实打了很大折扣，这也是官方推进这个特性时绕不开的核心难题。

再说说你关心的推进工作和计划：

• 社区一直在琢磨针对Python的替代方案，比如用多进程而非多线程来绕开GIL限制，但多进程带来的内存开销和数据序列化成本是需要解决的关键问题，目前还在探索阶段。
• Beam的Python SDK团队也在考虑结合现有apache_beam.utils.processes模块的能力，尝试在bundle内部实现轻量级的进程池来并行处理元素，不过这还处于早期的试验阶段，暂时没有明确的发布时间表。
• 另外，团队也在优化单线程处理的性能，比如通过向量化操作、减少序列化开销等方式间接提升bundle的处理效率，这些小优化已经在几个新版本中陆续落地了。

如果你现在就想提升Python Beam任务的并行效率，可以先试试这些办法：

• 调整--number_of_worker_harness_threads参数增加worker的线程数，虽然受GIL限制，但在IO密集型任务里还是能拿到一些收益；
• 用Dataflow Runner的自动缩放功能增加worker数量，从bundle之间的并行度入手提升整体性能。

内容的提问来源于stack exchange，提问作者Mete Kemertas