Java多线程下批处理API状态查询结果不一致问题咨询

问题根因 #

• 拼写错误引发的共享变量读写混乱
  你提供的递归方法中存在明显的拼写错误：

private getBatchStatus(String batchId) {
    String response = httpCall(batchId);
    if(!response.equals("COMPLETE")) {
        resposne = getBatchStatus(batchId); // 此处变量名拼写错误，少了字母n，正确应为response
     }
     return response;
}

如果你的外部类中定义了名为resposne的全局成员变量，这个错误拼写会导致所有线程的递归调用都把结果赋值到同一个全局变量上，多线程并发写自然会出现数据覆盖、结果错乱的问题。你当前代码可正常运行，说明大概率存在这个拼写错误的全局变量。

• 任务执行无等待逻辑，提前读取结果
  你当前的代码仅向线程池提交了查询任务，没有调用shutdown()+awaitTermination()或者通过Future来等待任务执行完毕，如果你在提交任务后立刻读取结果，此时线程还未完成查询逻辑，拿到的自然是错误的初始状态值。

• HTTP调用方法潜在线程安全问题
  如果你的httpCall方法内部使用了共享的可变对象存储响应结果、或者使用了非线程安全的HttpClient实现，也会导致不同批次的请求响应结果被串用。

• 无间隔递归调用引发的API端异常
  递归调用getBatchStatus没有任何等待间隔，会在批次未完成时瞬间发起大量重复请求，很容易触发API端限流、缓存错乱，返回错误的状态值。

修复方案 #

1. 修正拼写错误，改用Callable替代Runnable获取异步执行结果，避免依赖全局变量存储返回值：

// 改Runnable为Callable，直接返回查询结果
private class CallBatchStatus implements Callable<String> {
    private String batchId;
      
    public CallBatchStatus(String batchId) {
          this.batchId = batchId;
    }

    @Override
    public String call() {
       return getBatchStatus(this.batchId);
    }
 }

2. 修正递归方法，添加等待间隔避免请求过频：

private String getBatchStatus(String batchId) {
    String response = httpCall(batchId);
    if(!"COMPLETE".equals(response)) {
        try {
            // 可根据API实际处理速度调整等待时长
            Thread.sleep(1000);
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
            throw new RuntimeException(e);
        }
        response = getBatchStatus(batchId);
     }
     return response;
}

3. 提交任务后等待所有任务执行完成，按批次对应获取结果：

ExecutorService executorService = Executors.newFixedThreadPool(5);
List<Future<String>> futures = batchIds.stream()
    .map(batchId -> executorService.submit(new CallBatchStatus(batchId)))
    .collect(Collectors.toList());

// 遍历获取每个批次的结果，对应关系不会错乱
for (int i = 0; i < batchIds.size(); i++) {
    String batchId = batchIds.get(i);
    String status = futures.get(i).get();
    // 存储对应批次的结果即可
}
executorService.shutdown();

内容的提问来源于stack exchange，提问作者Lalit Chattar