Yii框架导出20万条数据致服务器卡顿，求CSV导出方案

我来帮你搞定这个大数量CSV导出的问题——20万条数据直接导出确实容易把服务器拖垮，你当前的分页写法思路是对的，但大概率是没处理好内存堆积和输出缓冲，才导致进程停滞。下面给你几个实用的优化方案，都是针对Yii 1.x（从你的代码里Yii::app()判断的）量身定制的：

方案一：分批查询+逐行输出（最稳妥的Web端导出） #

核心思路是边查边写，实时输出，避免把所有数据都塞进内存里。你的分页逻辑可以保留，但要改成逐行读取并输出到CSV，同时禁用PHP的输出缓冲，确保数据实时发送给客户端。

// 先清理并禁用输出缓冲，防止数据积压
ob_end_clean();
ob_implicit_flush(true);

// 设置CSV下载的响应头
header('Content-Type: text/csv; charset=utf-8');
header('Content-Disposition: attachment; filename="test_data.csv"');

// 打开PHP输出流，直接往浏览器写数据
$outputStream = fopen('php://output', 'w');

// 先写入CSV表头（从数据库表结构自动获取）
$columnInfo = Yii::app()->db->createCommand('DESCRIBE TEST_DATA')->queryAll();
$header = array_column($columnInfo, 'Field');
fputcsv($outputStream, $header);

$totalCount = Yii::app()->db->createCommand('SELECT COUNT(*) FROM TEST_DATA')->queryScalar();
$batchSize = 1000; // 每批取1000条，可根据服务器性能调整
$totalPages = ceil($totalCount / $batchSize);
$db = Yii::app()->db;

for ($page = 0; $page < $totalPages; $page++) {
    $offset = $page * $batchSize;
    // 使用CDbDataReader逐行读取，而不是一次性把整批数据存进数组
    $command = $db->createCommand("SELECT * FROM TEST_DATA LIMIT $offset, $batchSize");
    $dataReader = $command->query();
    
    // 逐行写入CSV
    while ($row = $dataReader->read()) {
        // 这里可以对字段做简单格式化（比如日期转字符串）
        fputcsv($outputStream, $row);
        // 强制刷新输出，避免缓冲堆积
        flush();
        ob_flush();
    }
    
    // 释放当前批次的资源
    $dataReader->close();
    unset($row);
}

fclose($outputStream);
exit; // 立即结束请求，防止后续框架代码干扰输出

这个方案的优势：

• 内存占用极低，只保留当前处理的一行数据
• 实时输出给客户端，用户能看到下载进度（部分浏览器支持）
• 不需要服务器额外存储文件，直接通过Web响应发送

方案二：用MySQL原生导出（性能最优） #

如果你的服务器允许MySQL操作文件，直接用SELECT INTO OUTFILE让MySQL生成CSV文件，PHP只负责触发导出和转发文件，几乎不占用PHP进程资源，速度也最快。

$serverFilePath = '/var/www/storage/test_data.csv'; // 服务器可写的绝对路径
$db = Yii::app()->db;

try {
    // 让MySQL直接导出CSV到服务器文件
    $db->createCommand("
        SELECT * INTO OUTFILE '$serverFilePath'
        FIELDS TERMINATED BY ',' 
        ENCLOSED BY '\"'
        LINES TERMINATED BY '\n'
        FROM TEST_DATA
    ")->execute();
    
    // 设置响应头，让用户下载生成好的文件
    header('Content-Type: text/csv; charset=utf-8');
    header('Content-Disposition: attachment; filename="test_data.csv"');
    readfile($serverFilePath);
    
    // 可选：用户下载完成后删除服务器上的临时文件
    unlink($serverFilePath);
} catch (Exception $e) {
    echo "导出失败：" . $e->getMessage();
    // 常见错误原因：MySQL进程无文件写入权限、secure_file_priv配置限制路径
}
exit;

注意事项：

• 确保MySQL进程对目标路径有写入权限
• 检查MySQL的secure_file_priv配置，是否允许导出到指定路径
• 共享服务器可能禁用了SELECT INTO OUTFILE功能，这种情况用方案一

额外优化建议 #

• 避免复杂逻辑：导出过程中尽量只做必要的字段格式化，不要加耗时的业务计算，否则会拉长导出时间
• 调整超时设置：如果是Web请求，要修改服务器超时配置（比如Nginx的proxy_read_timeout、Apache的Timeout），防止导出中途被服务器断开
• 测试小批量数据：先导出1万条数据验证流程没问题，再放大到20万条

内容的提问来源于stack exchange，提问作者Adarsh Bhatt