PHP使用ODBC拉取海量数据内存溢出，如何实现分批拉取？

可行方案整理 #

ODBC本身完全支持分批拉取数据的需求，以下是两种落地方式，都不需要调高PHP内存限制：

方案1：使用ODBC无缓冲查询（推荐，无需修改SQL语句） #

PHP ODBC扩展默认会将整个查询结果缓冲到内存中，这是你触发内存溢出的核心原因，可通过调整ODBC参数关闭缓冲，同时设置单次拉取行数：

// 预处理语句执行前配置参数
// 第二个参数2代表作用于语句级资源，SQL_ATTR_ROW_ARRAY_SIZE设置单次拉取行数
odbc_setoption($prepStmt, 2, SQL_ATTR_ROW_ARRAY_SIZE, 8000);
// 设置游标为仅向前类型，进一步降低内存占用
odbc_setoption($prepStmt, 2, SQL_ATTR_CURSOR_TYPE, SQL_CURSOR_FORWARD_ONLY);

// 执行语句后直接逐行写入文件，不要把所有行存入数组
$fileHandler = fopen('data_output.csv', 'w');
while ($row = odbc_fetch_array($prepStmt)) {
    // 直接写入文件，内存中仅保留当前行数据
    fputcsv($fileHandler, $row);
}
fclose($fileHandler);
// 处理完成后手动释放结果集
odbc_free_result($prepStmt);

方案2：数据库层分页拉取（兼容性最强，适配所有数据库） #

如果你的ODBC驱动不支持无缓冲参数配置，可以直接用数据库原生分页语法分批查询，每批次处理完成后释放内存再拉取下一批：

$batchSize = 10000;
$lastMaxId = 0; // 用主键做键集分页，性能远高于OFFSET
$fileHandler = fopen('data_output.csv', 'w');

do {
    $hasData = false;
    // 键集分页查询，必须按主键排序
    $stmt = odbc_prepare($conn, "SELECT * FROM 你的表名 WHERE id > ? ORDER BY id ASC LIMIT ?");
    odbc_execute($stmt, [$lastMaxId, $batchSize]);
    
    while ($row = odbc_fetch_array($stmt)) {
        fputcsv($fileHandler, $row);
        $lastMaxId = $row['id'];
        $hasData = true;
    }
    
    odbc_free_result($stmt); // 释放当前批次结果集内存
} while ($hasData);

fclose($fileHandler);

注意事项 #

• 不要将所有查询结果存入数组，拿到单条数据后直接写入文件/下游存储，内存中仅保留单条数据即可
• 分页查询必须使用稳定排序规则（比如按唯一主键排序），避免批次间数据重复或丢失
• 键集分页性能远高于OFFSET分页，数据量越大优势越明显，优先选择该写法

内容的提问来源于stack exchange，提问作者Mukul Kumar