PHP写入CSV时内存耗尽，求非硬件升级的优化方案

首先明确：打开的文件句柄不会把整个文件加载到内存，fputcsv是直接将数据写入磁盘缓冲区，不会在内存中留存整个文件内容，所以内存耗尽的问题和文件操作无关，核心问题出在数据查询与处理环节。

可能的问题根源 #

1. Doctrine EntityManager内存累积
   每次用ORM查询返回实体时，这些实体会被EntityManager的UnitOfWork托管，即使你转换成数组，实体对象仍然留在内存中。4万条数据分400批次查询后，内存会被大量托管实体占满。

2. 隐式关联加载
   如果你的实体配置了EAGER（即时加载）的关联关系，查询时会自动加载关联数据，每条数据的内存占用会远超预期；即使是延迟加载，若处理数据时不小心触发了关联属性的访问，也会导致额外数据加载。

3. 内存配置未生效
   你提到服务器内存配置1024M，但报错显示的是Allowed memory size of 134217728 bytes exhausted（128M），这说明PHP的memory_limit参数可能没正确设置，或者Nginx对应的PHP-FPM进程使用了单独的配置文件，导致1024M的配置未生效。

具体优化方案 #

1. 清理EntityManager托管实体 #

在每批次数据处理完成后，调用EntityManager的clear()方法，清除所有托管的实体对象，直接释放内存：

// 处理完当前100条数据后
$entityManager->clear();
// 若只需清除特定实体，可传入类名
// $entityManager->clear(YourEntity::class);

2. 改用数组 hydration 模式或无状态查询 #

• 直接返回数组：避免生成实体对象，从根源上减少内存占用：

  public function getDatasets(int $offset): array
  {
      return $this->entityManager->createQueryBuilder()
          ->select('e.id, e.name, e.email') // 只选择CSV需要的字段，减少数据量
          ->from(YourEntity::class, 'e')
          ->where('e.active = :active')
          ->setParameter('active', true)
          ->setFirstResult($offset)
          ->setMaxResults(100)
          ->getQuery()
          // 直接返回数组，不生成实体
          ->getResult(\Doctrine\ORM\Query::HYDRATE_ARRAY);
  }
  

• 使用无状态会话：StatelessSession不会跟踪实体变化，适合批量导出场景：

  $statelessSession = $this->entityManager->getConnection()->createEntityManager();
  $data = $statelessSession->createQueryBuilder()
      ->select('e')
      ->from(YourEntity::class, 'e')
      ->where('e.active = :active')
      ->setParameter('active', true)
      ->setFirstResult($offset)
      ->setMaxResults(100)
      ->getQuery()
      ->getResult();
  

3. 优化实体关联配置 #

• 确保所有关联关系都使用LAZY（延迟加载），避免不必要的数据加载：

  /**
   * @ManyToOne(targetEntity="RelatedEntity", fetch="LAZY")
   */
  private $relatedEntity;
  

• 导出时只查询需要的字段，不要用select('e')返回整个实体，减少每条数据的内存占用。

4. 验证并修正PHP内存配置 #

执行phpinfo()查看当前生效的memory_limit值，确认是否为1024M：

• 若使用PHP-FPM，需修改php-fpm.conf或pool.d/*.conf中的php_value[memory_limit]配置，然后重启PHP-FPM服务。
• 若使用CLI模式导出，需修改php.ini中的memory_limit参数。

5. 循环内的内存优化 #

• 处理完每批次数据后，手动unset不再使用的变量，并触发垃圾回收：

  $datasets = $this->getDatasets($offset);
  foreach ($datasets as $row) {
      $this->addRow($row);
  }
  // 释放当前批次数据的内存
  unset($datasets);
  // 手动触发垃圾回收（可选，批量场景下加速内存释放）
  gc_collect_cycles();
  

• 去掉@fopen的错误屏蔽，显式处理文件打开失败的情况，避免隐性问题。

内容的提问来源于stack exchange，提问作者Calamity Jane