如何分批处理array_map？解决大数组内存耗尽问题

你的问题根源在于array_map(null, $array1, $array2, $array3)会一次性生成包含数百万条数据的完整数组，直接耗尽内存。核心解决思路是不一次性生成所有合并数据，分批处理、写完即释放内存，以下是两种可行方案：

方案一：对已加载的大数组做分批处理 #

如果三个数组已经完整加载到内存（虽本身占用大量内存，但必须这么做的话），可以按固定批次截取数组片段，合并后立即写入CSV，写完就丢弃当前批次数据：

$filename = 'file.csv';
$fp = fopen($filename, 'w');
if (!$fp) {
    die('无法打开文件');
}

// 获取三个数组中最短的长度（array_map会以最短数组为准）
$maxLength = min(count($array1), count($array2), count($array3));
// 批次大小可根据内存情况调整，比如500、1000、2000
$batchSize = 1000;

for ($start = 0; $start < $maxLength; $start += $batchSize) {
    // 截取当前批次的数组片段
    $slice1 = array_slice($array1, $start, $batchSize);
    $slice2 = array_slice($array2, $start, $batchSize);
    $slice3 = array_slice($array3, $start, $batchSize);
    
    // 合并当前批次的三个片段
    $batchList = array_map(null, $slice1, $slice2, $slice3);
    
    // 写入当前批次到CSV
    foreach ($batchList as $fields) {
        fputcsv($fp, $fields);
    }
    
    // 释放当前批次变量，避免内存堆积
    unset($slice1, $slice2, $slice3, $batchList);
    // 强制PHP回收内存（可选，视情况使用）
    gc_collect_cycles();
}

fclose($fp);

方案二：从源数据开始分批读取（更优，彻底解决内存问题） #

如果$array1、$array2、$array3来自外部数据源（数据库、CSV文件等），不要一次性把所有数据读到内存，直接分批读取源数据并合并写入，这是最彻底的内存优化：

示例：从三个CSV文件逐行读取写入 #

假设三个数组原本来自三个CSV文件，直接逐行读取每个文件，合并后写入目标CSV，内存仅保留当前三行数据：

$filename = 'file.csv';
$fpTarget = fopen($filename, 'w');
if (!$fpTarget) {
    die('无法打开目标文件');
}

// 打开三个源CSV文件
$fp1 = fopen('source1.csv', 'r');
$fp2 = fopen('source2.csv', 'r');
$fp3 = fopen('source3.csv', 'r');

if (!$fp1 || !$fp2 || !$fp3) {
    die('无法打开源文件');
}

// 逐行读取三个文件，直到其中一个文件读完
while (($row1 = fgetcsv($fp1)) !== false 
       && ($row2 = fgetcsv($fp2)) !== false 
       && ($row3 = fgetcsv($fp3)) !== false) {
    // 合并当前三行数据（可根据需求调整合并逻辑）
    $mergedRow = array_merge($row1, $row2, $row3);
    // 写入目标CSV
    fputcsv($fpTarget, $mergedRow);
}

// 关闭所有文件
fclose($fp1);
fclose($fp2);
fclose($fp3);
fclose($fpTarget);

示例：从数据库分批查询写入 #

如果三个数组来自数据库三张表，用LIMIT和OFFSET分批查询，每次取一批数据合并后写入：

$filename = 'file.csv';
$fp = fopen($filename, 'w');
if (!$fp) {
    die('无法打开文件');
}

// 数据库连接（示例用PDO）
$pdo = new PDO('mysql:host=localhost;dbname=test', 'user', 'pass');
$batchSize = 1000;
$offset = 0;

while (true) {
    // 分批查询三个表的数据（需根据实际关联条件调整SQL）
    $stmt1 = $pdo->prepare("SELECT * FROM table1 LIMIT ? OFFSET ?");
    $stmt1->execute([$batchSize, $offset]);
    $rows1 = $stmt1->fetchAll(PDO::FETCH_ASSOC);
    
    $stmt2 = $pdo->prepare("SELECT * FROM table2 LIMIT ? OFFSET ?");
    $stmt2->execute([$batchSize, $offset]);
    $rows2 = $stmt2->fetchAll(PDO::FETCH_ASSOC);
    
    $stmt3 = $pdo->prepare("SELECT * FROM table3 LIMIT ? OFFSET ?");
    $stmt3->execute([$batchSize, $offset]);
    $rows3 = $stmt3->fetchAll(PDO::FETCH_ASSOC);
    
    // 某一批无数据则退出循环
    if (empty($rows1) || empty($rows2) || empty($rows3)) {
        break;
    }
    
    // 合并当前批次并写入
    $batchList = array_map(null, $rows1, $rows2, $rows3);
    foreach ($batchList as $fields) {
        fputcsv($fp, $fields);
    }
    
    // 释放变量，更新偏移量
    unset($rows1, $rows2, $rows3, $batchList);
    gc_collect_cycles();
    $offset += $batchSize;
}

fclose($fp);
$pdo = null;

关键注意点 #

• 批次大小$batchSize需根据服务器内存调整，太小会增加循环次数，太大可能仍会爆内存，建议从1000开始测试。
• 如果源数据本身已经占满内存（三个数组总和超PHP内存限制），方案一只能缓解，方案二才是根本解决办法——避免一次性加载所有数据到内存。

内容的提问来源于stack exchange，提问作者Rei