PostgreSQL导入TPC-H partsupp表报错：最后列后存在额外数据

问题概述 #

执行以下COPY命令导入TPC-H的partsupp表时失败，其余表均可正常导入：

postgres=# COPY tpch1g.partsupp FROM '/home/user/TPC-H_1gb/partsupp.tbl' DELIMITER '|' CSV;

报错信息：

ERROR: extra data after last expected column
CONTEXT: COPY partsupp, line 1: "1|2|3325|771.64|, even theodolites. regular, final theodolites eat after the carefully pending foxes..."

表结构确认（共5列）：

\d tpch1g.partsupp
                         Table "tpch1g.partsupp"
    Column     |          Type          | Collation | Nullable | Default 
---------------+------------------------+-----------+----------+---------
 ps_partkey    | integer                |           | not null | 
 ps_suppkey    | integer                |           | not null | 
 ps_availqty   | integer                |           |          | 
 ps_supplycost | numeric(15,2)          |           |          | 
 ps_comment    | character varying(199) |           |          | 
Indexes:
    "partsupp_pkey" PRIMARY KEY, btree (ps_partkey, ps_suppkey)

数据行示例（对应5列，末尾以|结束）：

1|2|3325|771.64|, even theodolites. regular, final theodolites eat
after the carefully pending foxes. furiously regular deposits sleep
slyly. carefully bold realms above the ironic dependencies haggle
careful|

报错原因 #

1. 错误使用CSV模式：TPC-H的.tbl文件是管道符分隔的纯文本格式，并非标准CSV。CSV模式下PostgreSQL会将ps_comment字段内的逗号误识别为列分隔符，导致解析出多余列。
2. 字段内换行干扰：ps_comment包含多行文本，CSV模式会将换行视为行结束符，破坏数据行的完整性，导致单条数据被拆分为多行解析。
3. 末尾管道符解析问题：数据行末尾的|在CSV模式下会被解析为额外的空列，与表的5列结构不匹配。

解决方法 #

方法1：移除CSV选项（推荐） #

使用PostgreSQL默认的TEXT格式导入，该格式支持管道符分隔、字段内换行，且不会误解析逗号为分隔符：

postgres=# COPY tpch1g.partsupp FROM '/home/user/TPC-H_1gb/partsupp.tbl' DELIMITER '|';

方法2：添加ESCAPE参数（针对含转义字符的场景） #

如果TPC-H数据中存在反斜杠转义的特殊字符，可添加ESCAPE '\'确保正确解析：

postgres=# COPY tpch1g.partsupp FROM '/home/user/TPC-H_1gb/partsupp.tbl' DELIMITER '|' ESCAPE '\';

验证说明 #

TEXT模式下，PostgreSQL会将每行中|分隔的内容依次映射到表的5列，字段内的换行和逗号会被保留为ps_comment的内容，末尾的|会被视为第5列的结束标记，不会产生额外列。

内容的提问来源于stack exchange，提问作者tdeus