Spring Cloud Data Flow任务库与批处理数据源分离配置及报错解决

你遇到的Invalid TaskExecution, ID 32 not found错误，核心原因是作业应用的任务元数据数据源被错误覆盖：

• Spring Cloud Task的核心元数据（比如TASK_EXECUTION表）必须存储在你启动Data Flow Server时指定的数据库（oracle-test.com:1521/dev），因为Data Flow Server会从这个库读取任务状态。
• 你配置的app.dataflow-single-step-batch.spring.datasource.*参数直接覆盖了作业应用的默认数据源，导致Task框架去oracle-test-perf.com:1521/test库查找TaskExecution记录，但该记录实际在dev库中，因此找不到ID32的条目。

要实现「任务元数据数据源」和「批处理业务数据源」的分离，不能直接覆盖全局的spring.datasource，而是要自定义独立的业务数据源供ItemReader/Writer使用，保留Task框架的默认数据源指向Data Flow的任务数据库。

步骤1：调整配置参数 #

删除所有app.dataflow-single-step-batch.spring.datasource.*的全局覆盖配置，替换为自定义业务数据源的配置：

# 自定义业务数据源（供ItemReader/Writer使用）
app.dataflow-single-step-batch.spring.datasource.biz.url=jdbc:oracle:thin:@oracle-test-perf.com:1521/test
app.dataflow-single-step-batch.spring.datasource.biz.username=ORACLE_USER
app.dataflow-single-step-batch.spring.datasource.biz.password=123456
app.dataflow-single-step-batch.spring.datasource.biz.driver-class-name=oracle.jdbc.OracleDriver

# 保留JPA配置（如果业务数据源需要JPA支持）
app.dataflow-single-step-batch.spring.jpa.database-platform=org.hibernate.dialect.Oracle10gDialect

步骤2：在批处理作业中配置自定义数据源 #

在你的Batch作业配置类中，创建自定义业务数据源的Bean，并将其注入给ItemReader和ItemWriter：

@Configuration
public class BatchBizDataSourceConfig {

    // 创建自定义业务数据源
    @Bean
    @ConfigurationProperties(prefix = "spring.datasource.biz")
    public DataSource bizDataSource() {
        return DataSourceBuilder.create().build();
    }

    // 配置ItemReader使用业务数据源
    @Bean
    public JdbcCursorItemReader<YourBusinessEntity> businessItemReader() {
        JdbcCursorItemReader<YourBusinessEntity> reader = new JdbcCursorItemReader<>();
        reader.setDataSource(bizDataSource());
        reader.setSql("SELECT * FROM YOUR_BUSINESS_TABLE");
        reader.setRowMapper(new BeanPropertyRowMapper<>(YourBusinessEntity.class));
        return reader;
    }

    // 配置ItemWriter使用业务数据源
    @Bean
    public JdbcBatchItemWriter<YourBusinessEntity> businessItemWriter() {
        JdbcBatchItemWriter<YourBusinessEntity> writer = new JdbcBatchItemWriter<>();
        writer.setDataSource(bizDataSource());
        writer.setSql("INSERT INTO YOUR_TARGET_TABLE (col1, col2) VALUES (:col1, :col2)");
        writer.setItemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<>());
        return writer;
    }
}

额外注意事项 #

• 确保作业应用的spring.cloud.task.datasource没有被自定义配置覆盖，默认情况下，Data Flow会将自身的任务数据库配置传递给作业应用，Task框架会自动使用该数据源存储元数据。
• 可以登录Data Flow的任务数据库（oracle-test.com:1521/dev），检查TASK_EXECUTION表中是否存在ID为32的记录，排除历史任务记录的异常问题。

内容的提问来源于stack exchange，提问作者Zishnu