10MB级CSV文件对比内存占用过高，求优化方案

嘿，我完全懂你现在的痛点——把两个10MB的CSV整个加载到内存里做对比，内存开销确实会拉满，尤其是在资源有限的服务器上。咱们换个思路，不要一次性把整个文件塞进内存，而是逐行处理，这样内存占用能降到极低。下面给你几个实用的优化方案：

方案1：逐行读取+哈希映射（无额外依赖） #

这个方法的核心是先把其中一个文件的每行通过哈希值做索引，然后逐行读取另一个文件对比哈希，全程只在内存中保留单行数据和哈希映射表，内存占用大幅降低。

// 第一步：处理第一个CSV，生成行哈希映射
$hashMap = [];
$fileHandle = fopen('file1.csv', 'r');

// 逐行读取并序列化后生成哈希（用crc32比md5更快，内存占用更小）
while (($row = fgetcsv($fileHandle)) !== false) {
    // 如果CSV有唯一主键，比如第一列是ID，这里可以只哈希ID，进一步节省内存
    $rowHash = crc32(serialize($row));
    $hashMap[$rowHash] = $row;
}
fclose($fileHandle);

// 第二步：逐行读取第二个CSV，对比哈希找差异
$differences = [];
$fileHandle = fopen('file2.csv', 'r');

while (($row = fgetcsv($fileHandle)) !== false) {
    $rowHash = crc32(serialize($row));
    if (!isset($hashMap[$rowHash])) {
        // 记录file2独有的行
        $differences['file2_only'][] = $row;
    } else {
        // 移除匹配的哈希，最后剩下的就是file1独有的行
        unset($hashMap[$rowHash]);
    }
}
fclose($fileHandle);

// 收集file1独有的行
$differences['file1_only'] = array_values($hashMap);

// 输出差异结果
print_r($differences);

这个方案的优势： #

• 内存占用仅和单行数据大小、哈希映射表的大小有关，10MB的CSV大概对应几万行，哈希表的内存开销远小于整个文件数组。
• 可以根据CSV结构优化哈希逻辑（比如用唯一主键哈希），进一步降低内存占用。
• 不需要额外工具或服务，纯PHP实现。

方案2：借助临时数据库表（适合复杂对比场景） #

如果你的服务器有MySQL/PostgreSQL等数据库，把CSV导入临时表后用SQL查询找差异会更省心，数据库引擎会自动优化内存使用，尤其适合列数多、对比逻辑复杂的情况。

以MySQL为例：

-- 创建临时表（请根据你的CSV列结构调整字段定义）
CREATE TEMPORARY TABLE csv_temp1 (
    col1 VARCHAR(255),
    col2 VARCHAR(255),
    col3 TEXT
);

CREATE TEMPORARY TABLE csv_temp2 LIKE csv_temp1;

-- 导入CSV文件（注意服务器需要FILE权限，且文件路径要正确）
LOAD DATA INFILE '/path/to/your/file1.csv'
INTO TABLE csv_temp1
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS; -- 如果有表头的话加上这行

LOAD DATA INFILE '/path/to/your/file2.csv'
INTO TABLE csv_temp2
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;

-- 查询file1独有的行
SELECT * FROM csv_temp1
LEFT JOIN csv_temp2 
ON csv_temp1.col1 = csv_temp2.col1 
AND csv_temp1.col2 = csv_temp2.col2 
AND csv_temp1.col3 = csv_temp2.col3
WHERE csv_temp2.col1 IS NULL;

-- 查询file2独有的行
SELECT * FROM csv_temp2
LEFT JOIN csv_temp1 
ON csv_temp2.col1 = csv_temp1.col1 
AND csv_temp2.col2 = csv_temp1.col2 
AND csv_temp2.col3 = csv_temp1.col3
WHERE csv_temp1.col1 IS NULL;

这个方案的优势： #

• 数据库的查询引擎做了大量优化，对比效率高，内存占用可控。
• 支持复杂的对比逻辑（比如多字段联合匹配、模糊对比）。
• 不需要自己处理哈希碰撞等细节。

额外优化小技巧 #

1. 选择更轻量的哈希算法：用crc32()替代md5()，生成的哈希值是整数，内存占用更小，计算速度也更快；如果担心碰撞，可以用sha1()（虽然比md5慢，但碰撞概率极低）。
2. 跳过表头行：如果CSV有表头，记得在读取时跳过，避免无效对比。
3. 流式处理：如果需要处理更大的文件（比如100MB+），可以结合fgetcsv()和输出缓冲，边处理边输出差异，不用把所有差异存到内存里。

内容的提问来源于stack exchange，提问作者Michael Trefz