Flink任务负载不均，无法充分利用并行资源如何解决？

• 显式指定下游算子并行度：在map、filter等算子后调用setParallelism(100)，强制覆盖数据源分区带来的并行度限制，让Flink调度足够多的Task处理。示例代码：

  streamSource.map(record -> /* 处理逻辑 */)
              .setParallelism(100)
              .filter(record -> /* 过滤逻辑 */)
              .setParallelism(100);
  

• 插入重分区算子触发数据分发：在数据源读取完成后、下游算子前，插入rebalance()或shuffle()算子，主动将数据打散并分配到所有Task槽位：

  • rebalance()：采用轮询策略均匀分配数据，适合无明显数据倾斜的场景
  • shuffle()：随机分发数据，彻底打破原有分区的数据流分布
    示例代码：

  streamSource.rebalance()
              .map(record -> /* 处理逻辑 */)
              .filter(record -> /* 过滤逻辑 */);
  

  建议和显式设置并行度配合使用，确保下游算子能用到全部100个Task。

• 配置全局并行度：如果整个作业默认需要100并行度，可以通过以下方式设置：

  • 提交作业时通过命令行指定：flink run -p 100 your-job.jar
  • 在Flink配置文件中设置parallelism.default: 100
    注意：数据源读取阶段仍会受限于源分区数保持5并行，但后续算子会继承全局并行度，结合重分区算子才能确保数据均匀分发到所有TaskManager。

内容的提问来源于stack exchange，提问作者Scott