PostgreSQL 15中WAL结合COPY导入CSV文件的工作机制

针对你使用的这条COPY语句：

COPY persons(first_name, last_name, dob, email)
   FROM 'C:\sampledb\persons.csv' DELIMITER ',' CSV HEADER;

导入50MB CSV文件时，WAL的运作方式既不是把整个文件存入pg_wal目录，也不会转换成一条庞大的SQL语句，具体逻辑如下：

• WAL记录的是数据变更而非原文件/语句：WAL（Write-Ahead Log）核心作用是记录数据库的所有修改操作，用于崩溃恢复和主从复制。COPY执行时，PostgreSQL会解析CSV文件的每一行数据，将其转换为对应表的行数据，然后生成对应的WAL条目——这些条目记录的是行数据的插入操作，而非原CSV文件内容或COPY语句本身。

• 批量优化的WAL生成：相比逐条执行INSERT语句，COPY会采用更高效的批量处理机制生成WAL。它会将多行数据打包成单个WAL记录（而非每行单独生成WAL），减少WAL条目数量和开销，提升导入效率。但即使是批量记录，最终生成的WAL总大小通常会略大于原CSV文件的大小，因为WAL除了数据本身，还包含事务元数据、页更新信息等额外内容。

• 可选的WAL跳过机制：如果你不需要利用WAL做崩溃恢复或主从同步，可以在COPY语句中添加WAL=OFF参数（仅适用于非事务型COPY场景：比如在UNLOGGED表/TEMPORARY表上执行，或开启了wal_level=minimal且无复制需求时），此时PostgreSQL不会为COPY操作生成WAL，能大幅提升导入速度，但代价是如果发生崩溃，这部分导入的数据无法恢复。示例语句：

COPY persons(first_name, last_name, dob, email)
   FROM 'C:\sampledb\persons.csv' DELIMITER ',' CSV HEADER WITH (WAL=OFF);

• 事务层面的WAL处理：整个COPY操作默认会在一个事务中执行（除非显式拆分），WAL会记录整个事务的开始、所有数据插入的变更、事务提交的信息。如果COPY执行失败（比如数据格式错误），事务会回滚，对应的WAL记录也会被标记为无效，不会应用到数据库中。

内容的提问来源于stack exchange，提问作者Peter Mølgaard Pallesen