Symfony批量邮件循环内存泄漏问题及优化咨询

核心问题分析 #

当前循环一次性加载所有订阅者实体，Doctrine的EntityManager会将这些实体缓存到内存中，叠加Messenger调度过程的内存积累，最终触发内存限制。即便临时提升内存配额，随着订阅者数量持续增长，问题仍会重现，必须从代码逻辑层面进行优化。

具体优化手段 #

1. 分页加载订阅者，避免一次性加载全量数据 #

使用Doctrine的Paginator分批查询订阅者，每次仅加载小批量数据（比如100条），处理完一批后立即清理EntityManager释放内存：

use Doctrine\ORM\Tools\Pagination\Paginator;

// 构建查询，替代直接调用getUserSubscriptions()
$qb = $this->entityManager->createQueryBuilder()
    ->select('s')
    ->from(UserSubscription::class, 's')
    ->where('s.project = :project')
    ->setParameter('project', $project);

$paginator = new Paginator($qb);
$batchSize = 100;
$totalItems = count($paginator);

for ($i = 0; $i < $totalItems; $i += $batchSize) {
    $paginator->getQuery()
        ->setFirstResult($i)
        ->setMaxResults($batchSize);
    
    foreach ($paginator as $subscriber) {
        // 执行发送前的条件检查
        $this->messageBus->dispatch(new newPostEmail(
            $subscriber->getUser()->getEmail(),
            $project->getId(), // 传递ID而非完整实体
            $user->getId(),
            $post_title,
            $post_content_updated,
            $post_embed,
            $post->getUlid(),
            $post_type,
            $brandColor,
            $colorOutput
        ));
    }
    
    // 清理EntityManager，释放当前批次的实体内存
    $this->entityManager->clear();
    // 强制PHP触发垃圾回收
    gc_collect_cycles();
}

2. 拆分批量任务为异步父任务+子任务 #

将原同步循环逻辑转为异步任务模式：先发送一个BatchPostEmail父消息，由Messenger处理器完成分页和单个邮件任务的分发，原请求无需处理大量逻辑，内存压力转移到消费者进程：

1) 创建父任务消息类

class BatchPostEmail
{
    public function __construct(
        private int $projectId,
        private int $userId,
        private string $postTitle,
        private string $postContent,
        private ?string $postEmbed,
        private string $postUlid,
        private string $postType,
        private string $brandColor,
        private string $colorOutput
    ) {}

    // 生成对应属性的getter方法
}

2) 原请求中仅分发父任务

// 替换原有循环，只发送一个父任务
$this->messageBus->dispatch(new BatchPostEmail(
    $project->getId(),
    $user->getId(),
    $post_title,
    $post_content_updated,
    $post_embed,
    $post->getUlid(),
    $post_type,
    $brandColor,
    $colorOutput
));

3) 父任务处理器中分页分发子任务

class BatchPostEmailHandler implements MessageHandlerInterface
{
    public function __construct(
        private EntityManagerInterface $entityManager,
        private MessageBusInterface $messageBus
    ) {}

    public function __invoke(BatchPostEmail $message)
    {
        $project = $this->entityManager->find(Project::class, $message->getProjectId());
        if (!$project) return;

        $qb = $this->entityManager->createQueryBuilder()
            ->select('s')
            ->from(UserSubscription::class, 's')
            ->where('s.project = :project')
            ->setParameter('project', $project);

        $paginator = new Paginator($qb);
        $batchSize = 100;
        $totalItems = count($paginator);

        for ($i = 0; $i < $totalItems; $i += $batchSize) {
            $paginator->getQuery()
                ->setFirstResult($i)
                ->setMaxResults($batchSize);
            
            foreach ($paginator as $subscriber) {
                // 执行发送前的条件检查
                $this->messageBus->dispatch(new newPostEmail(
                    $subscriber->getUser()->getEmail(),
                    $project->getId(),
                    $message->getUserId(),
                    $message->getPostTitle(),
                    $message->getPostContent(),
                    $message->getPostEmbed(),
                    $message->getPostUlid(),
                    $message->getPostType(),
                    $message->getBrandColor(),
                    $message->getColorOutput()
                ));
            }

            $this->entityManager->clear();
            gc_collect_cycles();
        }
    }
}

3. 优化消息内容，避免传递大实体 #

不要直接传递$project、$user等完整实体对象，仅传递它们的ID，在newPostEmail的处理器中再根据ID查询所需字段。此举既能减少消息队列的存储压力，也能避免实体在内存中被长期引用。

4. 关闭Profiler（测试/生产环境） #

错误日志显示Profiler相关代码触发内存溢出，测试环境建议直接关闭Profiler；生产环境若无需调试，可在config/packages/prod/web_profiler.yaml中禁用：

web_profiler:
    enabled: false

若必须保留Profiler，可在批量任务代码中临时禁用：

if ($this->container->has('profiler')) {
    $this->container->get('profiler')->disable();
}

5. 调整消费者进程内存限制（临时辅助） #

虽非最优解，但可配合上述优化，给Messenger消费者进程单独设置更高内存限制：

php bin/console messenger:consume async -vvv -e prod -d -m 256M

内容的提问来源于stack exchange，提问作者UXerUIer