Docker部署Flink集群：如何将作业输出统一至单个位置？

一、宿主机目录挂载（优先推荐） #

直接给所有TaskManager容器挂载宿主机的同一个目录，让容器内的输出同步到宿主机的统一位置：

1. 在宿主机创建共享输出目录：

   mkdir -p /opt/flink-shared-output
   

2. 启动TaskManager容器时添加挂载参数，两个TaskManager都挂载该目录：
   第一个TaskManager启动命令：

   docker run -d \
     --name flink-taskmanager-1 \
     -v /opt/flink-shared-output:/opt/flink/output \
     flink taskmanager
   

   第二个TaskManager启动命令：

   docker run -d \
     --name flink-taskmanager-2 \
     -v /opt/flink-shared-output:/opt/flink/output \
     flink taskmanager
   

3. 修改Flink作业的输出路径为容器内的/opt/flink/output，所有TaskManager的输出会自动同步到宿主机的/opt/flink-shared-output目录。若作业并行生成多个文件，可通过宿主机命令合并：

   cat /opt/flink-shared-output/* > merged-output.txt
   

二、作业层面统一输出（小数据量场景） #

若不想修改容器配置，可调整作业代码逻辑：

• 避免每个TaskManager独立写文件，将所有输出数据汇总到JobManager节点，由JobManager统一写入宿主机的指定目录（注意该方案会增加JobManager的性能负载，仅适合小数据量作业）。
• 使用Flink的FileSystemSink，配置输出路径为宿主机共享目录（需确保JobManager和所有TaskManager都能通过挂载访问该目录，本质与第一种方案兼容）。

三、分布式存储中转（备选方案） #

如果本地挂载存在限制（如集群跨多台机器），可先让Flink输出到分布式存储（如MinIO、HDFS），再将数据从分布式存储下载到本地机器。此方案为备选，优先级低于前两种。

内容的提问来源于stack exchange，提问作者Tawfik Yasser