Symfony批量插入1.5万条数据优化及主键重置问题

一、优化批量插入速度与内存占用 #

你原来的代码每次循环都调用flush()，这会导致每插入一条就和数据库做一次交互，IO开销极大，而且EntityManager会一直持有所有持久化的实体对象，最终导致内存溢出。优化方案如下：

1. 批量Persist+分批Flush+清理EntityManager
   不要每次循环都flush，而是累积一定数量的实体后再批量flush，同时flush后清理EntityManager释放内存。示例代码：

   preg_match_all('/\w{5}/', $words, $matches);
   $batchSize = 200; // 可根据服务器性能调整，比如100-500之间
   $count = 0;
   
   foreach($matches[0] as $m) {
       $word = new Words();
       $word->setName($m);
       $entityManagerInterface->persist($word);
       $count++;
   
       // 达到批次数量时执行flush并清理
       if ($count % $batchSize === 0) {
           $entityManagerInterface->flush();
           $entityManagerInterface->clear(); // 释放已持久化的实体占用的内存
       }
   }
   // 处理最后一批不足batchSize的记录
   $entityManagerInterface->flush();
   $entityManagerInterface->clear();
   

   这样能大幅减少数据库交互次数，同时避免内存持续累积，1.5万条数据应该能在几秒内完成插入。

2. 额外优化建议

   • 关闭Doctrine的SQL日志（在环境配置里设置doctrine.dbal.logging: false），避免日志占用额外内存。
   • 如果是MySQL，可以临时开启innodb_flush_log_at_trx_commit=2提升写入速度，插入完成后改回默认值即可。

二、重置主键自增序列 #

用DQL删除所有记录只会删除表数据，不会重置数据库的自增主键序列，所以新插入的记录会延续之前的主键值。要重置主键，需要执行对应数据库的原生SQL：

针对不同数据库的操作： #

• MySQL/MariaDB：

  ALTER TABLE words AUTO_INCREMENT = 1;
  

• PostgreSQL：

  ALTER SEQUENCE words_id_seq RESTART WITH 1;
  

• SQLite：

  DELETE FROM sqlite_sequence WHERE name='words';
  

在Symfony中执行原生SQL的示例： #

// 先执行删除操作
$query = $entityManagerInterface->createQuery('DELETE FROM App\Entity\Words e')->execute();

// 获取数据库连接并执行重置自增的原生SQL
$connection = $entityManagerInterface->getConnection();
// 根据你的数据库类型选择对应的SQL
$connection->executeQuery('ALTER TABLE words AUTO_INCREMENT = 1;');

注意：重置自增序列的操作要在删除所有记录之后执行，且仅适合测试/初始化场景，生产环境频繁重置可能引发问题。

内容的提问来源于stack exchange，提问作者ch3ssnut