在K8s平台的Spring Cloud Data Flow中仅重启失败的Cloud Task分区

我们在Kubernetes平台上运行Spring Cloud Data Flow，当运行大量分区（Pod）时，部分分区会失败，希望仅重启这些失败的任务。

根据相关建议，我们为DeployerPartitionHandler添加了以下命令行参数：

List<String> commandLineArgs = new ArrayList<>();
commandLineArgs.add("--spring.profiles.active=worker");
commandLineArgs.add("--spring.cloud.task.initialize-enabled=false");
commandLineArgs.add("--spring.batch.initializer.enabled=false");
commandLineArgs.add("--spring.cloud.task.closecontextEnabled=true");
commandLineArgs.add("--spring.cloud.task.batch.failOnJobFailure=true");
commandLineArgs.add("--spring.batch.job.enabled=false");

我们的任务配置与Spring Cloud Task官方示例中的JobConfiguration类结构相似，重点配置了分区处理器相关逻辑。但从SCDF Dashboard重启任务时，所有分区会被再次执行，我们希望仅启动失败的分区。请问我们是否在JobConfiguration类中缺失了某些配置？如何通过任务号仅重启失败的分区？

核心配置调整方案 #

1. 启用分区状态持久化与恢复支持 #

要实现仅重启失败分区，首先必须确保每个分区的执行状态被持久化并可被追踪：

• 确保JobRepository使用数据库等持久化存储，Spring Batch会自动将每个分区的执行状态（成功/失败）记录到BATCH_STEP_EXECUTION表中。
• 在PartitionHandler配置中启用重启支持，让任务能识别已完成的分区，仅处理失败的部分。

2. 自定义PartitionHandler的分区分配逻辑 #

修改JobConfiguration中的PartitionHandler配置，添加失败分区识别逻辑：

@Bean
public PartitionHandler partitionHandler(TaskLauncher taskLauncher, JobExplorer jobExplorer) {
    DeployerPartitionHandler partitionHandler = new DeployerPartitionHandler(taskLauncher, jobExplorer);
    partitionHandler.setGridSize(yourTotalPartitionCount); // 替换为你的总分区数
    partitionHandler.setRestartable(true); // 启用仅恢复失败分区的功能
    
    // 自定义命令行参数，传递当前分区ID
    partitionHandler.setCommandLineArgsProvider(partition -> {
        List<String> args = new ArrayList<>();
        args.add("--spring.cloud.task.partition.id=" + partition.getPartitionId());
        // 保留你原有的参数
        args.add("--spring.profiles.active=worker");
        args.add("--spring.cloud.task.initialize-enabled=false");
        args.add("--spring.batch.initializer.enabled=false");
        args.add("--spring.cloud.task.closecontextEnabled=true");
        args.add("--spring.cloud.task.batch.failOnJobFailure=true");
        args.add("--spring.batch.job.enabled=false");
        return args;
    });
    
    return partitionHandler;
}

3. 调整任务重启的触发方式 #

直接使用SCDF Dashboard的默认"重启"按钮会触发全部分区重新执行，需要改为：

• 通过任务参数传递失败分区ID列表来启动任务，让任务启动时只加载指定的失败分区。
• 或者利用Spring Batch的JobExplorer查询历史执行记录，自动筛选出失败的分区ID，在任务启动时动态分配给Worker。

4. 关键配置验证 #

• 检查BATCH_STEP_EXECUTION表中的STATUS字段，确认失败的分区被标记为FAILED，成功的标记为COMPLETED。
• 重启任务后，观察Kubernetes中的Pod实例，确认仅对应失败分区的Worker被启动。

内容的提问来源于stack exchange，提问作者Madhu