PHP/MySQL多用户并发批量插入万条记录仅单用户生效问题咨询

当前实现存在两个核心缺陷，直接导致阻塞问题：

• 同步阻塞占用核心资源：导入逻辑直接耦合在Web请求的处理链路中，逐条插入的长耗时任务会长时间占用Web服务工作线程、数据库连接。多数Web服务、数据库连接池的可用资源是有限的，首个大体积导入任务占满可用资源后，后续用户的请求虽然被服务端接收，但拿不到执行写入必需的线程、数据库连接，只能排队等待，直到前序任务释放资源才会实际执行写入。
• 写入逻辑效率极低：for循环逐条插入会产生大量重复的网络IO、事务提交开销，5000-10000条数据的写入耗时会被拉长到数秒甚至数十秒，进一步放大资源占用的影响。

1. 链路解耦：导入逻辑异步任务化 #

把导入操作从同步请求链路中完全拆分，和普通Web请求的资源池隔离：

• 用户上传CSV后，接口层只做基础校验：文件格式是否合法、字段是否匹配、用户是否有导入权限。校验通过后将CSV文件存入临时存储，生成唯一任务ID，在任务表中初始化一条状态为「排队中」的任务记录，直接将任务ID返回给前端，本次HTTP请求直接结束，不占用请求处理线程等待导入完成。
• 部署独立的任务工作池（和处理普通Web请求的线程/进程池物理隔离），池大小根据数据库实际承载能力配置，通常配置4-8个工作线程即可，并行消费排队中的导入任务，不同用户的任务由不同工作线程处理，互不抢占普通接口的资源。前端可通过任务ID轮询进度，任务完成后给用户返回导入结果（成功条数、失败明细）即可。

2. 效率优化：替换逐条插入为分批批量写入 #

从根本上缩短单任务的执行时长，降低资源占用周期：

• 解析CSV时采用流式读取，不要一次性把全量数据加载到内存避免OOM。读取到的记录按固定大小拆分批次，单批大小控制在500-1000条，用数据库的批量插入语法一次提交整批数据，例：

INSERT INTO target_table (col1, col2, col3) 
VALUES 
(?, ?, ?),
(?, ?, ?),
...

• 每批数据单独开启事务、执行完成后立即提交，不要把全量数据放在一个长事务里，避免长时间持有数据库锁影响其他操作。单批执行完成后可增加10-50ms的短暂休眠，避免瞬间IO打满影响数据库其他业务。

3. 资源隔离：避免数据库层互相阻塞 #

• 给导入操作配置独立的数据库连接池，和普通业务请求的连接池拆分。比如数据库总连接数配置为30，给导入任务池分配5个连接，就算所有导入任务都在执行，也不会占满全部连接导致普通业务、其他用户的操作被阻塞。
• 写入时避免使用表锁，所有冲突判断走唯一索引，优先使用数据库原生的批量冲突处理语法（如MySQL的INSERT ... ON DUPLICATE KEY UPDATE、PostgreSQL的INSERT ... ON CONFLICT DO UPDATE），不要用全表扫描的方式做重复数据判断，避免长事务锁表。

• 不要为了追求速度无限制增加并行导入的任务数，并行数超过数据库承载上限会导致所有写入请求都变慢，反而劣化体验。
• 每个导入任务单独做异常捕获，单批/单条数据写入失败时记录对应行号、错误原因，不要直接终止整个任务，最终给用户返回完整的失败明细即可。
• 临时存储的CSV文件、完成的任务记录要配置定期清理策略，避免占满磁盘。

内容的提问来源于stack exchange，提问作者A. Doe