Symfony3 Doctrine：如何实现出错不回滚且记录错误的事务？

嘿，你的需求我太懂了——既要快速导入数千条数据，又得精准记录每条数据的处理状态（成功/已存在/被拒），还得区分是PHP验证错了还是数据库层面的问题（比如重复数据的唯一约束异常）。当前逐行flush的方式虽然能满足状态追踪，但频繁的数据库交互确实会拖慢速度，咱们来聊聊怎么优化：

核心思路：批量操作+错误隔离 #

Doctrine的全局事务确实会一错全滚，但我们可以通过批量持久化+异常时逐行排查或者单条独立事务的方式，既提升速度，又保证每条数据的状态都能准确记录。

方案一：批量持久化+异常逐行排查（推荐，平衡性能与精准度） #

大部分数据用批量flush减少数据库往返，只有当批次出现异常时，再逐行排查错误数据，这样既能保证大部分场景下的速度，又不丢错误追踪：

$batchSize = 100; // 可根据服务器性能调整，50-200都试试
$currentBatch = [];
$errors = [];

foreach ($data as $key => $project) {
    try {
        // 第一步：先做PHP层验证，提前拦错，别浪费DB资源
        $validatedProject = $this->validateData($project);
        if (!$validatedProject) {
            $data[$key]['ImportStatus'] = 'rejected';
            $data[$key]['RejectionCause'] = 'PHP数据验证失败';
            continue;
        }

        // 构建实体并加入当前批次
        $newProject = new Project();
        $newProject
            ->setStatus($validatedProject['Status'])
            ->setSiteName($validatedProject['SiteName'])
            // 其他字段赋值
        ;
        $this->getManager()->persist($newProject);
        $currentBatch[] = $key;

        // 达到批量阈值时执行flush
        if (count($currentBatch) % $batchSize === 0) {
            try {
                $this->getManager()->flush();
                // 标记当前批次所有数据为成功
                foreach ($currentBatch as $k) {
                    $data[$k]['ImportStatus'] = 'imported';
                }
                $currentBatch = [];
                $this->getManager()->clear(); // 清空缓存，避免内存爆掉
            } catch (\Exception $e) {
                $this->getManager()->rollback();
                $this->getManager()->clear();

                // 批次出错，逐行排查每条数据
                foreach ($currentBatch as $k) {
                    $singleData = $data[$k];
                    try {
                        $validated = $this->validateData($singleData);
                        $tempProject = new Project();
                        $tempProject
                            ->setStatus($validated['Status'])
                            ->setSiteName($validated['SiteName'])
                        ;
                        $this->getManager()->persist($tempProject);
                        $this->getManager()->flush();
                        $data[$k]['ImportStatus'] = 'imported';
                    } catch (UniqueConstraintViolationException $e) {
                        $data[$k]['ImportStatus'] = 'already imported';
                    } catch (\Exception $e) {
                        $msg = str_replace(["\r", "\n"], '', $e->getMessage());
                        $errors[] = $msg;
                        $data[$k]['ImportStatus'] = 'rejected';
                        $data[$k]['RejectionCause'] = $msg;
                    } finally {
                        $this->getManager()->clear();
                    }
                }
                $currentBatch = [];
            }
        }
    } catch (\Exception $e) {
        // 捕获PHP验证或实体构建时的异常
        $msg = str_replace(["\r", "\n"], '', $e->getMessage());
        $errors[] = $msg;
        $data[$key]['ImportStatus'] = 'rejected';
        $data[$key]['RejectionCause'] = $msg;
    }
}

// 处理最后一批不足批量阈值的数据
if (!empty($currentBatch)) {
    try {
        $this->getManager()->flush();
        foreach ($currentBatch as $k) {
            $data[$k]['ImportStatus'] = 'imported';
        }
        $this->getManager()->clear();
    } catch (\Exception $e) {
        $this->getManager()->rollback();
        $this->getManager()->clear();

        foreach ($currentBatch as $k) {
            $singleData = $data[$k];
            try {
                $validated = $this->validateData($singleData);
                $tempProject = new Project();
                $tempProject
                    ->setStatus($validated['Status'])
                    ->setSiteName($validated['SiteName'])
                ;
                $this->getManager()->persist($tempProject);
                $this->getManager()->flush();
                $data[$k]['ImportStatus'] = 'imported';
            } catch (UniqueConstraintViolationException $e) {
                $data[$k]['ImportStatus'] = 'already imported';
            } catch (\Exception $e) {
                $msg = str_replace(["\r", "\n"], '', $e->getMessage());
                $errors[] = $msg;
                $data[$k]['ImportStatus'] = 'rejected';
                $data[$k]['RejectionCause'] = $msg;
            } finally {
                $this->getManager()->clear();
            }
        }
    }
}

这个方案的好处是：

• 大部分数据走批量操作，速度比逐行flush快好几倍
• 只有批次出错时才逐行处理，平衡了性能和错误追踪的需求
• 提前在PHP层做验证，减少无效的数据库请求

方案二：单条数据独立事务（简单易维护，性能略逊） #

如果你的数据错误率比较高，或者服务器性能足够，也可以给每条数据单独开事务，这样完全隔离每条数据的错误，逻辑也更简单：

foreach ($data as $key => $project) {
    $em = $this->getManager();
    $em->beginTransaction(); // 开启独立事务

    try {
        // PHP层验证先行
        $validatedProject = $this->validateData($project);
        if (!$validatedProject) {
            $data[$key]['ImportStatus'] = 'rejected';
            $data[$key]['RejectionCause'] = 'PHP数据验证失败';
            $em->rollback();
            continue;
        }

        $newProject = new Project();
        $newProject
            ->setStatus($validatedProject['Status'])
            ->setSiteName($validatedProject['SiteName'])
            // 其他字段
        ;
        $em->merge($newProject);
        $em->flush();
        $em->commit(); // 成功则提交事务

        $data[$key]['ImportStatus'] = 'imported';
    } catch (UniqueConstraintViolationException $e) {
        $em->rollback(); // 失败则回滚
        $data[$key]['ImportStatus'] = 'already imported';
    } catch (\Exception $e) {
        $em->rollback();
        $msg = str_replace(["\r", "\n"], '', $e->getMessage());
        $errors[] = $msg;
        $data[$key]['ImportStatus'] = 'rejected';
        $data[$key]['RejectionCause'] = $msg;
    } finally {
        $em->clear(); // 清空缓存，防止内存泄漏
    }
}

这个方案的优势是逻辑简单，容易维护，完全不会因为一条数据出错影响其他数据，适合错误率高的场景。

几个关键细节要注意 #

1. 提前做PHP验证：把数据校验放在最前面，能拦截大部分错误，不用走到数据库层，这对速度提升很明显。
2. 清空EntityManager缓存：每次处理完一批或一条数据后，一定要调用clear()，不然处理几千条数据后内存会爆掉。
3. 调整批量大小：$batchSize别设太大，不然事务锁时间太长，可能影响其他数据库操作；也别太小，不然失去批量优势，50-200之间试试找最优值。
4. 精准捕获异常类型：专门捕获UniqueConstraintViolationException，区分“重复数据”和其他数据库错误，让状态记录更准确。

为什么不用全局事务？ #

全局事务的问题就是一错全滚，只要有一条数据出错，之前成功的所有数据都会被回滚，而且没法单独标记错误数据的状态，完全不符合你的需求，所以肯定不能用。

内容的提问来源于stack exchange，提问作者Cryborg