批量导入多份CSV至PostgreSQL失败，单文件导入正常求解决

• 检查文件路径与权限
  批量导入时可能存在个别文件路径含特殊字符（空格、中文等），或是PostgreSQL服务账号无部分文件的读取权限。可先随机选取10份不同位置的小批量文件测试，缩小问题范围；用ls -l（Linux）或dir /q（Windows）核查文件权限，确保postgres用户能访问所有目标CSV。

• 排查CSV隐性格式问题
  单文件正常不代表所有文件无异常：比如某份文件存在额外换行符、字段分隔符不一致（部分文件误用工号/分号）、不可见特殊字符（全角空格、控制字符）。可通过head -20 疑似问题文件.csv查看前几行内容，或用csvkit的csvlint工具批量校验文件格式合规性。

• 调整导入命令的错误处理规则
  默认批量导入遇错即终止，可在COPY命令中添加容错参数：PostgreSQL 12+支持LOG ERRORS（需先创建错误日志表），或用ON CONFLICT DO NOTHING（若存在主键冲突场景），跳过错误文件并记录具体报错信息。示例命令：

  COPY target_table FROM '/path/to/target.csv' WITH (FORMAT csv, HEADER false, DELIMITER ',', LOG ERRORS INTO import_error_log);
  

• 核查批量脚本的循环逻辑
  若为自行编写的shell/PowerShell循环导入，可能存在循环变量错误、重复执行COPY引发锁冲突，或大文件量下的内存/连接泄漏。可在循环中加入日志输出，追踪每个文件的导入状态：

  for file in *.csv; do
    echo "正在导入：$file"
    psql -d your_database -c "COPY target_table FROM '$file' WITH (FORMAT csv, HEADER false)" >> import_record.log 2>&1
  done
  

  查看import_record.log中的报错行，定位具体出问题的文件。

• 测试串行导入排除并发冲突
  若使用多线程并发导入，可能超出PostgreSQL连接数限制或触发表锁冲突。先改为串行导入测试，必要时调整postgresql.conf中的max_connections参数，同时确保导入期间无其他进程操作目标表。

内容的提问来源于stack exchange，提问作者Kelvin Davies