如何让Spring Batch主从Pod日志按任务在Spring Cloud Dataflow UI展示

SCDF的任务日志默认按task execution id关联绑定，Worker Pod默认未携带对应ID标记，因此日志不会被聚合到对应任务的展示页。实现方案如下：

1. 透传Task Execution ID到Worker节点 #

• Master端注入SCDF托管的TaskExecution对象，从中获取executionId，将该ID作为分区参数写入每个分区的执行上下文：

@Autowired
private TaskExecution taskExecution;

// 分区逻辑中写入上下文
partitionContext.put("scdfTaskExecutionId", taskExecution.getExecutionId());

• Worker端启动时从分区上下文/作业参数中读取scdfTaskExecutionId，写入日志MDC上下文或者系统环境变量。

2. 日志格式适配SCDF匹配规则 #

SCDF日志采集器默认会识别带有TASK_EXECUTION_ID标记的日志，关联到对应任务执行记录。需要同步修改Master和Worker的日志配置（如logback.xml），在输出格式中加入该标记：

<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - TASK_EXECUTION_ID=%X{scdfTaskExecutionId} - %msg%n</pattern>

确保Worker输出的所有日志中TASK_EXECUTION_ID取值与触发它的Master任务ID完全一致。

3. K8s日志采集规则对齐 #

• 确认Worker Pod的标签与Master Pod一致，必须包含spring-app-type=task标签，符合SCDF默认日志采集的匹配规则，避免Worker日志被过滤。
• 如果你使用自定义日志采集方案，需配置规则将所有携带相同TASK_EXECUTION_ID的日志，无论来自Master还是Worker Pod，都关联到同一个SCDF任务记录下。

4. 简化方案：使用Spring Cloud Task内置能力 #

• 直接引入spring-cloud-task-batch依赖，该依赖已内置远程分区场景下task execution id的自动透传逻辑，无需手动编写上下文传递代码。
• Worker端添加@EnableTask注解，配置项开启spring.cloud.task.executionid.enabled=true即可自动完成ID绑定和日志标记注入。

验证方法 #

启动测试任务，待Master和Worker执行完成后进入SCDF UI对应任务的执行详情页，查看日志列表即可看到Master和Worker的日志按时间顺序统一展示。如果未正常展示，先排查Worker的标准输出是否携带正确的TASK_EXECUTION_ID标记，再确认采集器是否正常采集Worker Pod的日志。

内容的提问来源于stack exchange，提问作者Kranthi