Flink批处理模式下不改并行度将FileSink输出合并为单文件

要在保持全局并行度为5的前提下实现FileSink仅输出单个文件，核心是让所有数据都流向同一个并行子任务进行输出，具体可以通过全局分区策略或者固定Key分区来实现，以下是具体方案和修改后的代码：

方案一：使用全局分区（Global Partitioner） #

在数据写入FileSink之前，调用global()方法将所有数据路由到同一个并行实例，这样只有该实例会生成输出文件，其他并行实例因无数据不会产生文件。

修改后的完整代码：

OutputFileConfig config = OutputFileConfig
        .builder()
        .withPartPrefix("prefix")
        .withPartSuffix(".txt")
        .build();

final FileSink<String> sinkfile = FileSink
        .forRowFormat(new Path("src/main/resources/output"), new SimpleStringEncoder<String>("UTF-8"))
        .withBucketAssigner(new BasePathBucketAssigner<>())
        .withOutputFileConfig(config)
        .build();

// 关键：添加global()分区，将所有数据导向同一个并行子任务
dataStream.global().addSink(sinkfile);

方案二：使用固定Key分区 #

通过keyBy指定一个固定的Key值，让所有数据进入同一个Key分组，从而被分配到同一个并行实例处理输出。

修改后的核心代码片段：

// 用固定字符串作为Key，将所有数据归为同一组
dataStream.keyBy(x -> "single-output-file").addSink(sinkfile);

原理说明 #

• 全局分区global()会强制将所有数据发送到算子的第一个并行实例，该实例的FileSink会生成唯一的输出文件，其余并行实例无数据流入，不会产生文件。
• 固定Key分区则利用Flink的Key分组机制，所有相同Key的数据会被路由到同一个并行实例，最终也只会生成单个输出文件。
• 两种方案都不需要修改全局并行度，仅通过调整数据路由逻辑实现单文件输出。

内容的提问来源于stack exchange，提问作者Carlos045