Spring Batch容错配置下错误记录重复写入问题求助

核心原因 #

你遇到的重复写入问题，是因为Spring Batch开启容错模式后默认会对失败的Item执行重试，而你在Reader的try-catch块中直接写入错误文件，导致每次重试都会触发一次错误记录写入。

解决方案 #

1. 直接禁用重试 #

在Step配置中添加noRetry()方法，彻底关闭重试行为，确保失败的Item只会被处理一次：

public Step mainstep() {
    return stepbuilder.get("step")
            .<Employee, Employee>chunk(2)
            .reader(reader())
            .processor(processor())
            .writer(writer())
            .faultTolerant()
            .skipPolicy(new AlwaysSkipItemSkipPolicy())
            .noRetry() // 显式禁用重试
            .build();
}

2. 用SkipListener统一处理错误记录（推荐） #

不建议在Reader中直接处理错误写入，应该利用Spring Batch的SkipListener接口，它会在Item被确认跳过的时候仅执行一次错误记录写入，从根源避免重复：

• 实现SkipListener接口：

public class ErrorRecordSkipListener implements SkipListener<Employee, Employee> {

    private final String errorFilePath;

    public ErrorRecordSkipListener(String errorFilePath) {
        this.errorFilePath = errorFilePath;
    }

    @Override
    public void onSkipInRead(Throwable t) {
        // 处理读取阶段的错误
        try (FileWriter writer = new FileWriter(errorFilePath, true)) {
            writer.write("读取失败: " + t.getMessage() + System.lineSeparator());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @Override
    public void onSkipInProcess(Employee item, Throwable t) {
        // 处理处理阶段的错误，写入失败的记录内容
        try (FileWriter writer = new FileWriter(errorFilePath, true)) {
            writer.write("处理失败记录: " + item.toString() + " | 错误原因: " + t.getMessage() + System.lineSeparator());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @Override
    public void onSkipInWrite(Employee item, Throwable t) {
        // 处理写入阶段的错误
        try (FileWriter writer = new FileWriter(errorFilePath, true)) {
            writer.write("写入失败记录: " + item.toString() + " | 错误原因: " + t.getMessage() + System.lineSeparator());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

• 在Step中注册监听器：

public Step mainstep() {
    return stepbuilder.get("step")
            .<Employee, Employee>chunk(2)
            .reader(reader())
            .processor(processor())
            .writer(writer())
            .faultTolerant()
            .skipPolicy(new AlwaysSkipItemSkipPolicy())
            .listener(new ErrorRecordSkipListener("你的错误文件路径"))
            .build();
}

3. 可选：限制重试次数 #

如果需要保留重试逻辑但不想重复写入错误记录，可以将重试次数设为0（效果等同于noRetry()）：

.faultTolerant()
.skipPolicy(new AlwaysSkipItemSkipPolicy())
.retryLimit(0) // 设置重试次数为0
.build();

内容的提问来源于stack exchange，提问作者tarun singh