如何检查MySQL中列表元素存在性并拆分两类结果数组

核心思路是尽可能减少数据库IO次数，用单次批量查询+内存级计算完成拆分，千条数据量级下总耗时可以控制在几毫秒级别，远优于循环单查、多次查询的方案。

具体实现步骤 #

1. 预处理待校验数据 #

先从原始物品列表中提取所有待匹配的code字段，提前去重减少无效查询条件：

// 提取code并去重，避免重复code触发冗余查询
const waitCheckCodes = [...new Set(items.map(item => item.code))];

2. 单次批量查询库中存在的code #

直接用IN（SQL语法）/$in（Mongo语法）做单次批量查询，千个参数的长度完全在MySQL、MongoDB的默认允许范围内，不需要提前分批。

注意：必须给数据库中存储物品的表的code字段加索引，批量匹配的速度会提升1~2个数量级；查询参数用驱动提供的参数化传入，不要手动拼接SQL避免注入风险。

MySQL查询示例：

-- 仅需要查询code字段即可，不需要拉取全量行数据，减少网络传输开销
SELECT code FROM item_table WHERE code IN (?);
// 将waitCheckCodes作为参数传入数据库驱动即可

3. 内存级拆分两个结果数组 #

拿到数据库返回的存在的code集合后，转成Set结构做存在性判断（Set.has()的时间复杂度是O(1)，远快于数组includes()的O(n)），单次遍历原始列表即可完成拆分：

// 将查询结果转成Set，提升判断效率
const existCodeSet = new Set(dbResult.map(row => row.code));

const existItems = [];
const notExistItems = [];
// 单次遍历完成拆分，没有额外循环开销
for (const item of items) {
  existCodeSet.has(item.code) ? existItems.push(item) : notExistItems.push(item);
}

执行完成后existItems就是库中已存在的物品列表，notExistItems就是库中不存在的物品列表。

避坑说明 #

• 不要写循环单条查询库的逻辑：千次数据库IO的网络开销、连接开销会是批量查询的上百倍，数据量再大一点会直接打满数据库连接。
• 不推荐用NOT IN/$nin查不存在的数据：一方面需要两次查询才能拿到两个结果集，另一方面SQL中NOT IN遇到字段NULL值时会出现匹配逻辑异常，稳定性不如单次查存在值再做差集。
• 如果后续待校验数据量上涨到10万级，可以把waitCheckCodes按每1000~2000个做分批查询，避免IN参数过长触发数据库的包大小限制，千条规模完全不需要做分批处理。

内容的提问来源于stack exchange，提问作者Nibedita Pattnaik