Spring Batch解析异常日志屏蔽敏感数据的可行方案咨询

针对Spring Batch解析敏感数据时的日志泄露问题，以下是几种更严谨且可扩展的方案：

1. 自定义ItemReader的错误处理逻辑 #

解析错误通常由FlatFileItemReader抛出FlatFileParseException，你可以通过扩展或自定义组件，在异常抛出时剥离敏感内容：

• 自定义LineMapper：在LineMapper.mapLine()方法中，若解析失败，抛出仅包含文件名、行号和错误原因的自定义异常，而非默认携带原始行内容的FlatFileParseException：

  public class SensitiveDataLineMapper implements LineMapper<Customer> {
      @Override
      public Customer mapLine(String line, int lineNumber) throws Exception {
          try {
              // 原有解析逻辑
              return parseLine(line);
          } catch (ParseException e) {
              String filePath = getCurrentFilePath(); // 从ItemReader的resource属性获取文件路径
              throw new SensitiveParseException(filePath, lineNumber, e.getMessage());
          }
      }
  }
  
  // 自定义异常类
  class SensitiveParseException extends RuntimeException {
      public SensitiveParseException(String filePath, int lineNumber, String message) {
          super(String.format("Parsing error at line: %d in resource=[file [%s]], error: %s", lineNumber, filePath, message));
      }
  }
  

• 使用ItemListenerSupport：通过onReadError()方法捕获读取异常，自定义日志输出内容，避免打印敏感数据：

  public class SensitiveDataReadListener extends ItemListenerSupport<Customer, Customer> {
      private static final Logger logger = LoggerFactory.getLogger(SensitiveDataReadListener.class);
  
      @Override
      public void onReadError(Exception ex) {
          if (ex instanceof FlatFileParseException) {
              FlatFileParseException parseEx = (FlatFileParseException) ex;
              logger.error("Parsing error at line: {} in resource=[file [{}]], error: {}",
                      parseEx.getLineNumber(),
                      parseEx.getResource().getFilename(),
                      parseEx.getMessage());
              // 不输出parseEx.getInput()
          } else {
              logger.error("Read error occurred", ex);
          }
      }
  }
  

2. 通过日志框架过滤敏感内容 #

无需关闭整个Spring Batch日志，针对特定日志条目进行内容替换：

• Logback示例：自定义Converter处理FlatFileItemReader的日志消息，将input=[...]替换为input=[REDACTED]：

  <configuration>
      <conversionRule conversionWord="redactedMessage" converterClass="com.example.RedactedMessageConverter" />
      <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
          <encoder>
              <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %redactedMessage%n</pattern>
          </encoder>
      </appender>
      <root level="info">
          <appender-ref ref="CONSOLE" />
      </root>
  </configuration>
  

  对应的Converter实现：

  public class RedactedMessageConverter extends ClassicConverter {
      @Override
      public String convert(ILoggingEvent event) {
          String message = event.getMessage();
          // 正则替换敏感的input部分
          return message.replaceAll("input=\\[.*?\\]", "input=[REDACTED]");
      }
  }
  

• Log4j2示例：使用RewriteAppender和自定义RewritePolicy修改日志消息，屏蔽敏感内容。

3. 利用SkipListener记录可控日志 #

配置Step允许跳过解析错误，通过SkipListener记录仅包含必要信息的日志：

1. 配置Step的skip规则：

   @Bean
   public Step loadCustomerStep(JobRepository jobRepository, PlatformTransactionManager transactionManager) {
       return new StepBuilder("loadCustomerStep", jobRepository)
               .<Customer, Customer>chunk(10, transactionManager)
               .reader(customerItemReader())
               .writer(customerItemWriter())
               .faultTolerant()
               .skip(FlatFileParseException.class)
               .skipLimit(100)
               .listener(new SensitiveSkipListener())
               .build();
   }
   

2. 实现SkipListener：

   public class SensitiveSkipListener implements SkipListener<Customer, Customer> {
       private static final Logger logger = LoggerFactory.getLogger(SensitiveSkipListener.class);
   
       @Override
       public void onSkipInRead(Throwable t) {
           if (t instanceof FlatFileParseException) {
               FlatFileParseException parseEx = (FlatFileParseException) t;
               logger.error("Skipped invalid record at line: {} in file: {}, error: {}",
                       parseEx.getLineNumber(),
                       parseEx.getResource().getFilename(),
                       parseEx.getMessage());
           }
       }
   
       @Override public void onSkipInWrite(Customer item, Throwable t) {}
       @Override public void onSkipInProcess(Customer item, Throwable t) {}
   }
   

关于Spring Batch内置配置 #

Spring Batch目前没有提供直接配置来屏蔽异常消息中的文件内容，所有敏感内容的屏蔽都需要通过自定义扩展或日志框架拦截来实现。

内容的提问来源于stack exchange，提问作者programmist