Doctrine2 Flush时忽略实体问题：Symfony4导入记录避重复异常

我来帮你搞定这个导入时的重复条目问题～你遇到的核心问题其实是Doctrine的EntityManager会跟踪所有被你调用persist()的对象，哪怕你后来想忽略这条重复记录，只要没清理EntityManager的跟踪队列，flush()的时候它还是会尝试把这条记录写入数据库，自然就触发唯一约束违例了。下面给你几种实用的解决思路：

1. 提前检查重复，只持久化唯一记录（最推荐） #

这是从源头解决问题的方法：在调用persist()之前，先根据你的唯一字段（比如你提到的co...应该是类似code这类唯一键）去数据库查询是否存在相同记录，只有不存在的时候才执行持久化操作。这样EntityManager根本不会跟踪重复对象，也就不会有后续的约束错误。

示例代码：

$entityManager = $this->getDoctrine()->getManager();
$batchSize = 50; // 批量处理，避免内存溢出
$count = 0;

foreach ($yourImportRecords as $recordData) {
    // 假设你的实体是Product，唯一字段是productCode
    $existingEntity = $entityManager->getRepository(Product::class)
        ->findOneBy(['productCode' => $recordData['product_code']]);

    if (!$existingEntity) {
        $newEntity = new Product();
        $newEntity->setProductCode($recordData['product_code']);
        // 设置其他字段，比如$newEntity->setName($recordData['name'])
        $entityManager->persist($newEntity);
        $count++;

        // 每积累N条记录就flush一次，释放部分内存
        if ($count % $batchSize === 0) {
            $entityManager->flush();
            $entityManager->clear(); // 这里clear是为了释放内存，不是处理重复
        }
    }
}

// 处理最后一批剩余的记录
$entityManager->flush();
$entityManager->clear();

这种方法的优势是逻辑清晰、性能可控，不会产生不必要的数据库写入尝试，是处理这类场景的首选方案。

2. 捕获唯一约束异常，跳过重复记录（适合大数据量导入） #

如果导入的数据集非常大，提前查询每条记录的性能开销太高，可以尝试直接持久化，然后捕获数据库的唯一约束违例异常，跳过重复条目。不过要注意，Doctrine在遇到异常后，EntityManager的状态可能会不一致，所以需要及时回滚并清理。

示例代码：

$entityManager = $this->getDoctrine()->getManager();
$connection = $entityManager->getConnection();

try {
    $connection->beginTransaction();
    $batchSize = 50;
    $count = 0;

    foreach ($yourImportRecords as $recordData) {
        $newEntity = new Product();
        $newEntity->setProductCode($recordData['product_code']);
        // 设置其他字段
        $entityManager->persist($newEntity);
        $count++;

        try {
            if ($count % $batchSize === 0) {
                $entityManager->flush();
            }
        } catch (\Doctrine\DBAL\Exception\UniqueConstraintViolationException $e) {
            // 捕获唯一约束错误，回滚当前批次
            $connection->rollback();
            $entityManager->clear();
            // 重新开启事务
            $connection->beginTransaction();
            $count = 0;
            continue; // 跳过这条重复记录
        }
    }

    // 处理最后一批
    $entityManager->flush();
    $connection->commit();
} catch (\Exception $e) {
    $connection->rollback();
    throw $e; // 抛出其他异常
}

这种方法适合数据量极大的场景，但异常处理逻辑相对复杂，需要注意事务的状态管理。

3. 不要滥用$em->clear() #

你之前用$em->clear()能解决问题，本质是清理了EntityManager的跟踪队列，让它不再尝试写入那条重复记录，但这只是治标不治本的办法——你其实已经把重复对象加入了跟踪队列，只是在最后时刻清理掉了。这种做法不仅逻辑不严谨，还可能导致其他未预期的问题（比如误清理了需要持久化的对象），所以更推荐前面两种从源头解决的方案。

内容的提问来源于stack exchange，提问作者ehymel