PostgreSQL执行COPY命令报错extra data after last expected column 求助

问题描述 #

使用PostgreSQL的COPY命令将/tmp/lineitem.tbl中的数据导入public.lineitem分区表时，出现错误：

psql: ERROR: extra data after last expected column

已检查分隔符一致性及数据字段格式，但仍未找到原因，请求修复方案。

数据文件lineitem.tbl部分内容 #

1|155190|7706|1|17|21168.23|0.04|0.02|N|O|1996-03-13|1996-02-12|1996-03-22|DELIVER IN PERSON|TRUCK|egular courts above the|
1|67310|7311|2|36|45983.16|0.09|0.06|N|O|1996-04-12|1996-02-28|1996-04-20|TAKE BACK RETURN|MAIL|ly final dependencies: slyly bold |
1|63700|3701|3|8|13309.60|0.10|0.02|N|O|1996-01-29|1996-03-05|1996-01-31|TAKE BACK RETURN|REG AIR|riously. regular, express dep|
1|2132|4633|4|28|28955.64|0.09|0.06|N|O|1996-04-21|1996-03-30|1996-05-16|NONE|AIR|lites. fluffily even de|
1|24027|1534|5|24|22824.48|0.10|0.04|N|O|1996-03-30|1996-03-14|1996-04-01|NONE|FOB| pending foxes. slyly re|
1|15635|638|6|32|49620.16|0.07|0.02|N|O|1996-01-30|1996-02-07|1996-02-03|DELIVER IN PERSON|MAIL|arefully slyly ex|
2|106170|1191|1|38|44694.46|0.00|0.05|N|O|1997-01-28|1997-01-14|1997-02-02|TAKE BACK RETURN|RAIL|ven requests. deposits breach a|
3|4297|1798|1|45|54058.05|0.06|0.00|R|F|1994-02-02|1994-01-04|1994-02-23|NONE|AIR|ongside of the furiously brave acco|

目标表结构 #

Partitioned table "public.lineitem"
     Column      |         Type          | Collation | Nullable | Default
-----------------+-----------------------+-----------+----------+---------
 l_orderkey      | bigint                |           |          |
 l_partkey       | integer               |           |          |
 l_suppkey       | integer               |           |          |
 l_linenumber    | integer               |           |          |
 l_quantity      | double precision      |           |          |
 l_extendedprice | double precision      |           |          |
 l_discount      | double precision      |           |          |
 l_tax           | double precision      |           |          |
 l_returnflag    | character(1)          |           |          |
 l_linestatus    | character(1)          |           |          |
 l_shipdate      | date                  |           |          |
 l_commitdate    | date                  |           |          |
 l_receiptdate   | date                  |           |          |
 l_shipinstruct  | character(25)         |           |          |
 l_shipmode      | character(10)         |           |          |
 l_comment       | character varying(44) |           |          |

执行的COPY命令 #

COPY public.lineitem FROM '/tmp/lineitem.tbl' WITH delimiter '|' csv;

已做排查 #

• 确认数据文件中始终使用"|"作为列分隔符，无多余或缺失情况
• 验证每个字段由"|"正确分隔，无缺失或多余字段

修复方案 #

原因分析 #

从数据文件可见，每行末尾都有一个额外的|，导致每行被解析出17个字段（16个分隔符对应17个字段），而目标表仅包含16列，因此触发"extra data after last expected column"错误。同时，COPY命令中使用的csv选项不符合数据格式（数据并非标准CSV），会干扰分隔符的解析逻辑。

具体解决步骤 #

1. 预处理数据文件：去掉每行末尾多余的|，保留前16个字段。可使用cut命令完成：

   cut -d'|' -f1-16 /tmp/lineitem.tbl > /tmp/lineitem_clean.tbl
   

2. 修改COPY命令：移除csv选项，使用PostgreSQL默认的text格式导入清理后的文件：

   COPY public.lineitem FROM '/tmp/lineitem_clean.tbl' WITH DELIMITER '|';
   

替代方案（无需预处理） #

如果无法修改源文件，可使用COPY ... FROM PROGRAM直接在命令中处理数据：

COPY public.lineitem FROM PROGRAM 'cut -d''|'' -f1-16 /tmp/lineitem.tbl' WITH DELIMITER '|';

内容的提问来源于stack exchange，提问作者CrispyRice