Apache Flink提升并行度无法优化性能问题求助

核心原因：上游算子存在单并行度瓶颈 #

你的作业性能无法通过提升并行度改善，本质是flatMap算子的并行度被限制为1，导致下游map算子的多并行实例无法获得足够的输入数据，资源处于空闲状态。具体细节：

• 你在flatMap中直接读取整个JSON文件并解析为List，这个操作是单线程执行的——Flink无法将单个文件的读取拆分到多个并行实例（除非主动配置文件拆分），所以该flatMap永远只有1个并行任务在工作。
• 后续的rebalance()虽然会尝试将数据分发到下游多个map实例，但上游只有1个任务在输出数据，下游map的多并行实例大部分时间处于等待状态，无法发挥多核性能。只有当你增加机器核心数时，单任务能利用更多CPU资源（比如JVM的多线程解析JSON），才会看到性能提升，但这不是真正的并行计算。

针对性解决方案 #

1. 重构文件读取逻辑，实现并行化读取 #

不要在flatMap中读取整个文件，改用Flink官方推荐的并行文件读取API：

• 对于Flink 1.16及以上版本，使用FileSource，它支持将大文件拆分为多个分片，由多个并行实例同时读取。
• 对于旧版本，使用readFile API并配置合适的输入格式，确保文件能被拆分。

2. 显式配置各算子的并行度 #

确保上游读取数据的算子（Source/flatMap）并行度与机器核心数/TaskManager槽数匹配，下游计算算子的并行度可适当放大：

// 示例：使用FileSource实现并行JSON读取
FileSource<Record> fileSource = FileSource.forRecordStreamFormat(
        new JsonRowInputFormat(new Path("your-file-path"), TypeInformation.of(Record.class)),
        Path.fromLocalFile(new File("your-file-path"))
    ).build();

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

env.fromSource(fileSource, WatermarkStrategy.noWatermarks(), "Parallel JSON Source")
    .setParallelism(4) // 根据TaskManager槽数/核心数设置，比如4
    .map(record -> Tuple2.of(rule, record))
    .rebalance()
    .map(ruleProcessingFunction)
    .setParallelism(8) // 下游计算可设置更高并行度，充分利用资源
    .print()
    .setParallelism(1); // print算子并行度可设为1，避免输出混乱

env.execute("Rule Calculation Job");

3. 拆分大文件（可选） #

如果你的JSON文件特别大，且无法通过Flink的Source自动拆分（比如JSON数组格式无法按字节拆分解析），可以提前将大文件拆分为多个小JSON文件（每个文件是独立的JSON数组或单条记录），这样Flink的Source可以直接按文件数量设置并行度，每个并行实例处理一个小文件。

内容的提问来源于stack exchange，提问作者Harry