PHP如何导入大量数据并避免服务器超时？

基础配置前置调整 #

先从底层规避常见的超时、内存溢出问题：

• 临时取消PHP执行时间限制：在导入脚本开头添加 set_time_limit(0);，如果能通过CLI命令行执行导入任务优先选CLI模式，CLI默认无执行时长限制。
• 按需调高内存限制：添加 ini_set('memory_limit', '256M');，避免批量数据缓存占用内存过高触发报错。
• 关闭MySQL自动提交：导入前执行 $pdo->setAttribute(PDO::ATTR_AUTOCOMMIT, false);，全部数据导入完成后再统一提交，可大幅提升写入效率，同时保证数据一致性。

分批导入具体实现（单批100条示例） #

方案1：后端脚本流式分批插入 #

推荐用PDO预处理+流式读取数据源的方式，不要一次性加载全部数据到内存：

// PDO批量导入示例（以CSV数据源为例）
$pdo = new PDO('mysql:host=127.0.0.1;dbname=your_db;charset=utf8mb4', 'db_user', 'db_pass');
$pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
$pdo->setAttribute(PDO::ATTR_AUTOCOMMIT, false);

$batchSize = 100; // 单批导入条数
$currentCount = 0;
$insertParams = [];

// 提前预处理SQL，复用编译结果提升性能
$preStmt = $pdo->prepare("INSERT INTO contacts (name, phone, email, remark) VALUES (?, ?, ?, ?)");

// 流式读取CSV，避免一次性加载整个文件
$csvHandle = fopen('/path/to/contacts.csv', 'r');
// 跳过CSV表头（如果有）
fgetcsv($csvHandle);

while (($row = fgetcsv($csvHandle, 0, ',')) !== false) {
    $currentCount++;
    // 按字段顺序存入参数数组
    $insertParams[] = trim($row[0] ?? '');
    $insertParams[] = trim($row[1] ?? '');
    $insertParams[] = trim($row[2] ?? '');
    $insertParams[] = trim($row[3] ?? '');

    // 凑够单批数量就执行一次写入
    if ($currentCount % $batchSize === 0) {
        $preStmt->execute($insertParams);
        $insertParams = []; // 清空参数释放内存
        // 可选：每批执行完暂停100ms，降低服务器负载
        usleep(100000);
    }
}

// 写入最后不足100条的剩余数据
if (!empty($insertParams)) {
    $preStmt->execute($insertParams);
}

// 统一提交事务，关闭资源
$pdo->commit();
fclose($csvHandle);

如果数据量更大，推荐用异步任务队列处理：把导入任务丢入队列后直接返回前端，后台用守护进程消费队列执行导入，完全不受web请求超时限制，还可以实现导入进度查询、失败重试等能力。

方案2：web端分片请求导入 #

如果必须通过web页面触发导入，可以用前端控制分片：前端记录当前导入偏移量，每次请求只处理100条数据，导入成功后前端自动携带下一个偏移量发起新请求，直到全部数据导入完成，同时可以实时展示导入进度。

额外性能优化技巧 #

• 导入前临时关闭目标表的普通索引、唯一约束，导入完成后再重建，写入速度可提升3~10倍，需要提前做好重复数据校验。
• 如果你有MySQL服务器的文件读取权限，优先用原生LOAD DATA INFILE命令导入，性能比PHP循环插入高10倍以上，示例语法：

  LOAD DATA LOCAL INFILE '/path/to/contacts.csv' 
  INTO TABLE contacts 
  FIELDS TERMINATED BY ',' ENCLOSED BY '"' 
  LINES TERMINATED BY '\n' 
  IGNORE 1 ROWS;
  

• 避免单条SQL循环插入，批量插入的性能远高于单条多次执行。

相关搜索关键词 #

• PHP MySQL 批量导入大数据
• PHP 分批插入MySQL 超时处理
• MySQL LOAD DATA INFILE 导入教程
• PHP 长任务执行超时解决方案
• PDO 预处理批量插入优化

内容的提问来源于stack exchange，提问作者user5296504