如何在Laravel中对数据库中的CSV导入数据进行两两行比较并删除重复项？

嘿，作为Laravel新手碰到这种数据处理需求完全不用慌，我来一步步带你搞定！先明确你的核心需求：按id顺序每两行一组，每组内如果number字段相同，就删除其中一条重复记录，对吧？那我们直接上实操方案：

第一步：准备工作（重中之重！） #

先给你的数据库做个完整备份！数据删除操作是不可逆的，一定要先在测试环境验证逻辑没问题，再放到生产环境执行，别嫌麻烦哦～

假设你的数据对应的Laravel模型是Post（如果你的模型名不一样，比如Record，记得把下面代码里的Post换成你的模型名），数据库表字段和你给出的示例一致：userId、id、number、title、body。

第二步：用Artisan命令处理数据（推荐方案） #

因为数据处理可能耗时较长，用Artisan命令比控制器更合适，不会有HTTP请求超时的问题。

1. 创建自定义命令 #

在终端运行这条命令，生成一个新的Artisan命令文件：

php artisan make:command CleanDuplicateNumbers

2. 编写处理逻辑 #

打开生成的文件app/Console/Commands/CleanDuplicateNumbers.php，替换成下面的代码：

<?php

namespace App\Console\Commands;

use App\Models\Post; // 换成你的实际模型名
use Illuminate\Console\Command;

class CleanDuplicateNumbers extends Command
{
    // 命令的调用名称
    protected $signature = 'data:clean-duplicates';
    // 命令的功能描述
    protected $description = '两两比较数据行，删除number字段重复的记录';

    public function handle()
    {
        // 按id升序获取所有数据，保证两两是连续的行
        $allRecords = Post::orderBy('id')->get();
        
        // 把数据分成每2条一组
        $recordGroups = $allRecords->chunk(2);
        
        foreach ($recordGroups as $group) {
            // 只处理正好有2条数据的组
            if ($group->count() === 2) {
                $firstRecord = $group->first();
                $secondRecord = $group->last();
                
                // 对比number字段
                if ($firstRecord->number === $secondRecord->number) {
                    // 这里选择删除id更大的那条，你可以根据需求改成保留另一条
                    $secondRecord->delete();
                    $this->info("已删除重复记录：id={$secondRecord->id}（与id={$firstRecord->id}的number字段重复）");
                } else {
                    $this->info("id={$firstRecord->id} 和 id={$secondRecord->id} 的number字段不重复，无需处理");
                }
            } else {
                // 处理最后一组只有1条数据的情况
                $lastRecord = $group->first();
                $this->info("最后一组只有1条数据：id={$lastRecord->id}，无需处理");
            }
        }
        
        $this->info("✅ 重复数据清理完成！");
    }
}

3. 运行命令 #

在终端执行这条命令，就能自动处理数据了：

php artisan data:clean-duplicates

第三步：大数据量优化方案 #

如果你的数据库里有几万甚至几十万条数据，上面的get()方法会一次性把所有数据加载到内存，可能导致内存不足。这时候可以用**游标（Cursor）**来分批处理：

把handle()方法里的代码改成下面这样：

public function handle()
{
    // 用游标分批获取数据，不会一次性加载全部到内存
    $recordCursor = Post::orderBy('id')->cursor();
    
    $currentGroup = [];
    foreach ($recordCursor as $record) {
        $currentGroup[] = $record;
        
        // 攒够2条就处理
        if (count($currentGroup) === 2) {
            $firstRecord = $currentGroup[0];
            $secondRecord = $currentGroup[1];
            
            if ($firstRecord->number === $secondRecord->number) {
                $secondRecord->delete();
                $this->info("已删除重复记录：id={$secondRecord->id}（与id={$firstRecord->id}的number字段重复）");
            } else {
                $this->info("id={$firstRecord->id} 和 id={$secondRecord->id} 的number字段不重复，无需处理");
            }
            
            // 清空当前组，准备下一组
            $currentGroup = [];
        }
    }
    
    // 处理最后剩下的1条数据
    if (!empty($currentGroup)) {
        $lastRecord = $currentGroup[0];
        $this->info("最后一组只有1条数据：id={$lastRecord->id}，无需处理");
    }
    
    $this->info("✅ 重复数据清理完成！");
}

自定义调整 #

如果你不想删除第二条，而是想保留最新的（或者其他规则），只需要修改删除逻辑就行。比如想删除id更小的那条，就把$secondRecord->delete()改成$firstRecord->delete()。

内容的提问来源于stack exchange，提问作者Adorablegh