Java大集合removeAll性能优化及Elasticsearch批量删除方案咨询

1. 纯Java实现的高效方案 #

• 用HashSet做存在性判断：将MSSQL中的所有主键单独查询出来，存入HashSet（仅存主键，避免加载全量主数据）。HashSet.contains()是O(1)时间复杂度，远优于ArrayList.removeAll()的O(n*m)和TreeMap的O(logn)，能大幅降低判断耗时。
• 分批次拉取ES数据：不要一次性加载ES的600万条记录，通过scroll或search_after进行分页查询，每次拉取10000条左右。遍历每批数据时，筛选出不在HashSet中的主键，收集到待删除列表。
• 批量执行ES删除：待删除列表积累到一定数量（比如1000条）时，调用ES的bulk接口批量删除，减少网络请求次数。
• 并行分片处理（可选）：利用ES的分片特性，用线程池并行查询不同分片的数据，充分利用服务器多核资源，缩短总处理时间，注意控制线程数避免压垮ES或MSSQL。

2. 借助MSSQL处理差异的方案 #

将大数据量的差集计算交给数据库（数据库对集合对比有成熟的索引优化），效率比纯内存处理更高：

• 导出ES主键到MSSQL临时表：用Java批量拉取ES的主键，写入MSSQL临时表（如#temp_es_ids），并给临时表的主键字段创建索引。
• 查询待删除的主键：通过MSSQL的LEFT JOIN或EXCEPT语句，筛选出ES存在但MSSQL不存在的主键：

  -- 方式1：LEFT JOIN
  SELECT es.id 
  FROM #temp_es_ids es
  LEFT JOIN mssql_main_table mm ON es.id = mm.id
  WHERE mm.id IS NULL;
  
  -- 方式2：EXCEPT
  SELECT id FROM #temp_es_ids
  EXCEPT
  SELECT id FROM mssql_main_table;
  

• 批量删除ES数据：将查询到的主键按批次传入ES的bulk接口执行删除。

3. Elasticsearch Delete by Query的可行性与参数调整 #

• 直接携带600万条条件不可行：ES默认限制bool查询中should/filter的最大子句数为1024（参数index.max_bool_clause_count），即使调高该值，600万条条件会占用巨量内存，极大概率导致ES节点OOM，还会严重拖垮集群性能。
• 分批次执行是最优选择：把待删除主键分成每批10000条左右，用terms查询配合delete by query循环执行，直到完成所有删除。
• 临时调整参数的方式：index.max_bool_clause_count是集群级或索引级参数，无法通过URL参数或请求体临时设置，需通过集群更新接口修改：

  PUT /_cluster/settings
  {
    "transient": {
      "index.max_bool_clause_count": 100000
    }
  }
  

  注意：调整完成后务必改回默认值，否则会增加ES的内存风险和查询性能隐患。

内容的提问来源于stack exchange，提问作者user1782357