如何拆分数据库查询？PHP导出大表CSV内存耗尽解决办法

这个问题我碰到过好多次了——处理大表导出CSV时内存爆掉确实是个头疼的事儿。你说的用LIMIT拆分查询完全可行，甚至是这类场景下的标准解决方案之一，不过还有些细节和更高效的玩法，我给你捋一捋：

一、用分批查询+逐批写入解决内存问题 #

LIMIT拆分是核心思路，但直接用LIMIT x OFFSET y在数据量极大时会有性能问题（数据库需要扫描前面所有行才能定位到OFFSET的位置），更推荐用基于有序主键的范围查询来分页，效率会高很多。

具体实现步骤： #

1. 每次只查询固定数量的记录（比如1000条），用主键（比如id）作为分页标记
2. 每查询到一批数据，就直接写入CSV文件，不要把所有数据存在数组里
3. 处理完一批后，释放内存，循环直到没有新数据

示例代码： #

<?php
// 关闭脚本超时限制（大表导出可能需要很久）
set_time_limit(0);
// 可以关闭内存限制，不过分批处理的话其实不需要设太大
ini_set('memory_limit', '-1');

// 初始化数据库连接
$pdo = new PDO('mysql:host=localhost;dbname=your_db;charset=utf8mb4', 'db_user', 'db_pass');
$pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

// 打开CSV文件准备写入
$csvFile = fopen('large_table_export.csv', 'w');
// 先写入表头
fputcsv($csvFile, ['column1', 'column2', 'column3']);

$batchSize = 1000; // 每批处理1000条，可根据服务器内存调整
$lastProcessedId = 0;

do {
    // 用ID范围查询替代OFFSET，利用主键索引提升效率
    $stmt = $pdo->prepare("
        SELECT column1, column2, column3 
        FROM table 
        WHERE id > :last_id 
        ORDER BY id 
        LIMIT :batch_size
    ");
    $stmt->bindParam(':last_id', $lastProcessedId, PDO::PARAM_INT);
    $stmt->bindParam(':batch_size', $batchSize, PDO::PARAM_INT);
    $stmt->execute();

    $rows = $stmt->fetchAll(PDO::FETCH_ASSOC);
    $currentBatchCount = count($rows);

    // 没有数据就退出循环
    if ($currentBatchCount === 0) {
        break;
    }

    // 把当前批次的数据写入CSV
    foreach ($rows as $row) {
        fputcsv($csvFile, $row);
    }

    // 更新最后处理的ID，用于下一批查询
    $lastProcessedId = end($rows)['id'];

    // 释放当前批次的内存
    unset($rows);
    gc_collect_cycles(); // 手动触发垃圾回收

} while ($currentBatchCount === $batchSize);

fclose($csvFile);
echo "导出完成！";
?>

二、更轻量的方案：用游标逐行读取 #

如果你的数据库支持游标（比如MySQL 5.1+配合PDO），可以直接逐行获取数据，内存占用几乎可以忽略——不需要一次性加载整批数据，每次只处理一行：

<?php
set_time_limit(0);
ini_set('memory_limit', '-1');

$pdo = new PDO('mysql:host=localhost;dbname=your_db;charset=utf8mb4', 'db_user', 'db_pass');
$csvFile = fopen('export.csv', 'w');
fputcsv($csvFile, ['column1', 'column2', 'column3']);

// 开启向前游标，逐行读取
$stmt = $pdo->prepare(
    "SELECT column1, column2, column3 FROM table",
    [PDO::ATTR_CURSOR => PDO::CURSOR_FWDONLY]
);
$stmt->execute();

// 逐行写入CSV
while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
    fputcsv($csvFile, $row);
}

fclose($csvFile);
?>

三、最优解：用数据库原生导出命令 #

如果你有服务器操作权限，直接用数据库的原生导出命令是效率最高的——完全绕开PHP的内存限制，由数据库直接写入文件。比如MySQL的SELECT ... INTO OUTFILE：

<?php
// 执行MySQL原生导出命令
$exportCommand = "mysql -u db_user -pdb_pass your_db -e '
    SELECT column1, column2, column3 
    FROM table 
    INTO OUTFILE \"/var/www/html/export.csv\" 
    FIELDS TERMINATED BY \",\" 
    ENCLOSED BY \"\\\"\" 
    LINES TERMINATED BY \"\n\";
'";
exec($exportCommand);
echo "导出完成！";
?>

注意：这个方法需要数据库有写入指定路径的权限，同时要注意命令中的密码不要硬编码（可以用配置文件或者环境变量），避免安全风险。

额外优化建议 #

• 关闭PHP的输出缓冲：如果是浏览器下载场景，用ob_end_flush()关闭缓冲，直接输出内容，避免缓冲占用内存
• 避免不必要的字段：只查询你需要的column1, column2, column3，不要用SELECT *，减少数据传输量

内容的提问来源于stack exchange，提问作者user8280493