1000万行数据表中行存在性检查的性能优化方案咨询

嘿，这个问题我之前帮不少开发者解决过——大规模数据导入时的重复校验确实是个性能瓶颈，尤其是当表已经有千万级数据的时候，Eloquent单条exists()的方式完全扛不住。给你几个比Redis更靠谱的方案，按优先级排序：

1. 数据库唯一约束 + 批量导入（首推） #

这是最省心、最可靠的方案，直接把重复校验的工作丢给数据库本身：

• 第一步：给业务上用来判断“重复”的字段加唯一索引（如果是多个字段联合判断重复，就加联合唯一索引）。比如你用user_id和order_no来判断重复，就给这两个字段建联合唯一索引。
• 第二步：用Laravel提供的insertOrIgnore()或upsert()方法批量导入XML数据：
  • insertOrIgnore()：会自动忽略违反唯一约束的行，只插入不重复的数据，底层是批量SQL操作，速度和空库导入几乎一样。

    // 先把XML数据转换成批量插入的数组格式
    $xmlRows = [...]; // 从XML解析出的多行数据数组
    DB::table('your_table')->insertOrIgnore($xmlRows);
    

  • upsert()：如果数据已存在就更新指定字段，不存在就插入，适合需要同步更新已有数据的场景。

    DB::table('your_table')->upsert(
        $xmlRows,
        ['unique_column1', 'unique_column2'], // 用来判断重复的唯一字段
        ['update_column1', 'update_column2'] // 存在时要更新的字段
    );
    

• 优势：完全依赖数据库的原子性，不会出现缓存和DB不一致的问题，批量操作把网络请求和DB连接开销降到最低，性能拉满。
• 注意：不同数据库对insertOrIgnore()的支持略有差异，但Laravel已经做了封装，只要你的数据库（MySQL、PostgreSQL等）支持唯一约束就可以用。

2. 预加载现有数据到内存（适合离线导入场景） #

如果你的导入是离线操作（导入期间没有其他进程往表中写数据），可以一次性把所有已存在的唯一字段加载到内存，直接在内存里做校验：

• 先批量查询主表的唯一字段，转成键为唯一值的数组（这样判断存在性的时间复杂度是O(1)）：

  // 比如用unique_id作为唯一判断字段，pluck获取所有值，flip把值转成键
  $existingUniqueIds = DB::table('your_table')->pluck('unique_id')->flip()->toArray();
  

• 然后遍历XML数据时，直接在内存里判断：

  foreach ($xmlData as $row) {
      if (!isset($existingUniqueIds[$row['unique_id']])) {
          // 执行插入逻辑，也可以攒一批再批量插入
          $insertRows[] = $row;
      }
  }
  // 最后批量插入
  if (!empty($insertRows)) {
      DB::table('your_table')->insert($insertRows);
  }
  

• 优势：内存查询速度极快，只需要一次DB查询，比Redis更直接，没有缓存同步的麻烦。1000万条int类型的唯一ID只占用约40MB内存，完全在PHP的内存限制范围内。
• 注意：如果导入期间有其他写入操作，这个方法会出现漏判（新写入的数据没在内存里），所以只适合离线批量导入。

3. 临时表 + 批量SQL比对 #

把XML数据先导入临时表，再用SQL批量比对插入，利用数据库的批量处理能力：

• 第一步：创建临时表（结构和主表一致，不需要建索引，导入更快）：

  DB::statement('CREATE TEMPORARY TABLE temp_table LIKE your_table');
  

• 第二步：批量导入XML数据到临时表：

  DB::table('temp_table')->insert($xmlRows);
  

• 第三步：用SQL把临时表中不存在于主表的数据插入主表：

  DB::statement("
      INSERT INTO your_table (column1, column2, ...)
      SELECT t.column1, t.column2, ...
      FROM temp_table t
      LEFT JOIN your_table y ON t.unique_column = y.unique_column
      WHERE y.id IS NULL
  ");
  

• 第四步：删除临时表：

  DB::statement('DROP TEMPORARY TABLE temp_table');
  

• 优势：全程都是数据库层面的批量操作，比PHP循环处理高效得多，避免了单条查询的开销。临时表导入速度和空库导入一样快，然后一次SQL完成比对和插入。
• 注意：临时表只在当前数据库连接中有效，导入完成后要记得删除，避免占用资源。

关于Redis方案的补充（非首选） #

如果你还是想尝试Redis，那一定要解决缓存和DB的一致性问题：

• 做双写：插入/更新/删除数据库的时候，同步更新Redis的缓存（比如把唯一ID存在Redis的Set里）。
• 定期全量同步：每天凌晨等低峰期，从数据库全量同步一次唯一ID到Redis，避免缓存清空后出现重复。
• 但这个方案复杂度高，需要处理各种异常场景（比如DB写入成功但Redis写入失败），所以除非你有特殊需求，否则不推荐。

总结一下，优先选方案1，它最简单、最可靠，性能也最优，完全不需要额外的缓存或内存处理，直接利用数据库的能力解决问题。

内容的提问来源于stack exchange，提问作者davka