PostgreSQL 13 csvlog出现多余列格式异常 导致COPY命令导入表失败

问题根因 #

你遇到的csvlog列数异常问题是日志写入时的内容穿插导致的，不属于PostgreSQL 13原生csvlog格式的bug：观察异常行多出的t: Connection reset by peer"片段，刚好是错误信息could not receive data from client: Connection reset by peer的后半段，说明是两个并发的日志写入操作的内容出现了重叠。
该问题大概率和你使用NFS作为日志存储目录有关：NFS的分布式文件锁、写入原子性保障弱于本地磁盘，当多个PostgreSQL后端进程同时写入日志文件时，容易出现写入内容穿插，最终导致csv格式损坏。另外你配置的log_rotation_size = 0意味着仅按时间切分日志，无单个文件大小限制，高并发写入场景下也会加大冲突概率。

验证方案 #

修改postgresql.conf中的log_directory为服务器本地磁盘路径，重启PostgreSQL后观察1-2天，确认是否还会出现格式异常的日志行。如果本地磁盘存储时没有问题，即可确认是NFS写入导致的问题。

解决方案 #

可根据你的部署场景选择对应的处理方式：

• 必须使用NFS存储日志：
  • 升级NFS服务端、客户端到最新稳定版，挂载NFS时开启强制文件锁参数
  • 导入日志时使用PostgreSQL 12及以上版本支持的COPY ... ON_ERROR 'skip'语法，直接跳过格式错误的行，示例：

    COPY postgres_log FROM '/your/log/path/postgresql-xxx.csv' WITH (FORMAT csv, ON_ERROR 'skip');
    

  • 导入前编写脚本预处理日志，按你环境中正常csvlog的固定列数过滤异常行，或修复错位的内容
• 可调整日志存储方案：
  • 优先使用本地磁盘存储日志，定期将归档日志同步到NFS
  • 改用syslog收集日志，由syslog进程统一落盘，避免多进程同时写入的冲突
  • 调整log_rotation_size为合理值（比如1GB），避免单个日志文件过大加剧写入冲突

内容的提问来源于stack exchange，提问作者jvervecken