Laravel导入大量CSV数据触发QueryException错误怎么解决？

异常诱因排查 #

首先可以排除单纯的执行超时：若为执行超时，报错会明确携带timeout标识，且在超时阈值固定的前提下，不同处理逻辑触发报错的行数不会出现近一倍的差异。结合现有信息，优先排查以下几类常见原因：

• 脏数据约束冲突
  导入过程中遇到不符合表结构定义的异常数据，例如字段长度超出列限制、数据类型不匹配、非UTF-8编码字符插入UTF-8列、必填字段为空值、唯一键重复等，不同过滤规则会跳过不同的正常行，因此触发报错的行数会出现差异。
• 单事务/连接超限
  如果采用单事务提交全量插入请求，事务体量过大会触发MySQL的连接主动断开机制，不同过滤逻辑的处理速度、事务累计数据量不同，所以报错触发的节点不同。可尝试调整innodb_log_file_size参数，或改为每1000~2000行提交一次事务。
• 批量SQL长度超限
  若使用INSERT INTO 表名 VALUES (?), (?)...批量插入语法，单条SQL的长度超出MySQLmax_allowed_packet参数限制时会直接抛出异常，单批次插入行数越多SQL长度越大，达到阈值即触发报错。可适当调大max_allowed_packet参数，或缩小单批次插入的行数。
• 内存溢出
  若读取CSV时采用全量加载到内存的逻辑，运行到一定行数时服务内存不足也会触发插入异常，可改为流式逐行/分批读取CSV，避免一次性加载全量文件。

快速定位方案 #

1. 开启MySQL的SQL错误日志，捕获报错时执行的具体SQL和对应数据，确认是否为数据约束问题
2. 将25000行的CSV拆分为多个小文件分别导入，验证是否为指定区间的数据存在异常
3. 在代码中补充异常捕获逻辑，打印报错时对应的行号、行内容和完整错误栈，精准定位问题根因

内容的提问来源于stack exchange，提问作者MsCrelix