PHP多维数组去重：读取CSV合并数据后移除重复项

嘿，看来你已经搞定了CSV数据读取和随机匹配行的合并工作，接下来要处理多维数组去重对吧？结合PHP的特性，我给你几个实用的方案，你可以根据自己的数组结构和业务需求来选：

方案1：快速通用的序列化去重法 #

这是最省心的通用方案，原理是把每个子数组序列化成字符串（作为数组的唯一键），利用数组键的唯一性自动去重，最后再反序列化回来：

// 假设你的多维数组是$mergedData
$uniqueData = array_map('unserialize', array_unique(array_map('serialize', $mergedData)));

👉 优点：代码简洁，不需要关心数组内部结构，适合所有可序列化的多维数组；
👉 缺点：如果数组里有资源类型（比如文件句柄）或者不可序列化的数据，这个方法就失效了；另外大数组的话，序列化会有一定性能开销。

方案2：基于业务字段的精准去重（推荐） #

如果你的去重逻辑是基于特定字段（比如品牌+客户ID组合唯一），那自定义判断逻辑会更高效也更精准，避免因为数组里其他无关字段的差异导致误判：

$seen = [];
$uniqueData = [];

foreach ($mergedData as $row) {
    // 生成唯一标识：用你认为能判断重复的字段拼接，比如品牌+客户编号
    $uniqueKey = $row['brand'] . '|' . $row['customer_id'];
    // 如果这个标识没出现过，就保留当前行
    if (!isset($seen[$uniqueKey])) {
        $seen[$uniqueKey] = true;
        $uniqueData[] = $row;
    }
}

👉 优点：性能更好（不用序列化），完全贴合业务逻辑，不会误判；
👉 缺点：需要明确知道哪些字段是判断重复的依据。

方案3：函数式风格的array_reduce实现 #

如果你偏爱函数式编程，可以用array_reduce来简化循环代码，本质和方案1/2逻辑一致：

// 这里用自定义字段做键，也可以换成serialize($row)
$uniqueData = array_reduce($mergedData, function ($result, $row) {
    $key = $row['brand'] . '|' . $row['customer_id'];
    if (!isset($result[$key])) {
        $result[$key] = $row;
    }
    return $result;
}, []);

// 最后把键名去掉，得到纯索引数组
$uniqueData = array_values($uniqueData);

额外小提醒 #

• 如果数组里有浮点型数据，序列化可能因为精度问题导致误判，这时候优先用自定义字段拼接的方式；
• 去重前可以先确认所有子数组的键名一致，避免因为键名大小写或拼写差异导致的“伪重复”；
• 要是数组特别大，可以考虑先排序再去重，能进一步优化性能。

内容的提问来源于stack exchange，提问作者Test