SQL是否支持批量执行？30k行Excel数据数据库存在性校验优化咨询

针对30k行Excel数据的比对需求，替换逐条查询的低效方案，推荐以下几种实用思路：

方案一：临时表批量比对（推荐，性能最优） #

1. 批量导入临时表：
   • 用Apache POI的SXSSFWorkbook流式读取Excel，避免内存溢出；
   • 通过JdbcTemplate或MyBatis的批量插入功能，将Excel数据按批次（比如每1000条）插入数据库临时表（临时表只需包含待比对的核心字段，如ID、编码等）。
2. SQL直接比对：
   执行SQL语句找出临时表中不存在于目标业务表的数据，示例（MySQL）：

   SELECT t.target_column 
   FROM temp_excel_data t
   LEFT JOIN business_table b ON t.target_column = b.target_column
   WHERE b.target_column IS NULL;
   

   或者用NOT EXISTS写法：

   SELECT target_column 
   FROM temp_excel_data
   WHERE NOT EXISTS (
       SELECT 1 FROM business_table WHERE target_column = temp_excel_data.target_column
   );
   

3. 清理临时表：比对完成后删除临时表，避免占用数据库资源。

方案二：内存本地比对 #

1. 批量拉取数据库数据：
   • 分页查询业务表中待比对的核心字段，每次查10000条，将结果存入HashSet（查询时间复杂度O(1)，适合快速比对）；
   • 如果数据库数据量过大（如超百万级），可分批次拉取并分段比对，避免内存溢出。
2. Excel本地校验：
   流式读取Excel每一行数据，直接检查待比对字段是否在HashSet中，收集不存在的记录。

方案三：批量IN查询优化 #

1. 拆分Excel数据为批次：
   将Excel中待比对的字段按每500-1000条一组拆分（注意不同数据库对IN子句的长度限制，比如MySQL默认最大支持1000个值）。
2. 批量查询数据库：
   对每个批次执行SELECT target_column FROM business_table WHERE target_column IN (...)，将查询到的字段存入集合；
3. 比对筛选：将Excel原始数据与查询结果集合对比，找出未被查询到的字段。

额外优化建议 #

• 读取Excel时优先使用SXSSFWorkbook而非XSSFWorkbook，处理大文件更高效；
• 调整数据库连接池参数，设置合理的maxActive、maxWait值，避免连接耗尽；
• 如果是MySQL，批量插入时开启rewriteBatchedStatements=true参数，可大幅提升插入性能。

内容的提问来源于stack exchange，提问作者developer