修改Worker数量对Glue作业的影响：增加Worker能否加快作业运行？

首先给出明确结论：绝大多数场景下增加Worker数量可以加快Glue作业的运行速度，但存在少数特殊场景下扩容Worker无法获得收益甚至会拖慢作业。

扩容Worker能生效的场景 #

如果你的作业性能瓶颈是计算资源不足，加Worker是性价比最高的优化方案：

• 你当前的220万条记录跑满2天还触发超时，大概率是现有10个Worker的并行处理能力不足以支撑作业的计算量，扩容后Glue会将数据集拆分为更多分片分配给更多Worker并行处理，总运行时长会有明显下降。
• 可以先通过Glue控制台的监控面板查看现有Worker的CPU、内存使用率，如果运行全程资源使用率都维持在高位，直接扩容Worker即可获得明确的提速收益，建议先尝试翻倍到20个Worker验证运行时长变化。

扩容Worker无法提速的特殊场景 #

如果出现以下情况，加Worker不会提升作业速度，需要先针对性解决对应问题：

• 作业逻辑存在高占比的串行步骤：比如ETL流程包含全局排序、单个不可拆分的超大文件读写、只能单节点执行的自定义UDF逻辑，这部分内容无法拆分到多个Worker并行处理，根据Amdahl定律，串行部分占比越高，扩容Worker的收益就越低。
• 瓶颈不在计算侧：如果作业的耗时瓶颈是S3读写限流、Glue metastore查询卡顿、下游目标数据库写入吞吐达到上限，加Worker只会把更多压力传导到瓶颈节点，反而可能引发更多重试报错，作业耗时不会下降甚至会变长。
• 存在严重的数据倾斜：如果你的作业中某几个key对应的数据量占总数据量的70%以上，这部分超大量数据只会分配到少数几个Worker处理，其余Worker就算闲置也无法分担负载，这种场景加再多Worker也解决不了倾斜带来的耗时长问题。

内容的提问来源于stack exchange，提问作者Iram