使用libpq执行Postgres COPY FROM STDIN时UTF8编码问题求助

问题背景 #

我用以下命令创建了UTF8编码的数据库：

CREATE DATABASE myendb
ENCODING 'UTF-8' 
LC_COLLATE 'en_US.UTF-8'
LC_CTYPE 'en_US.UTF-8'
TEMPLATE template0;

使用libpq的PQputCopy..()函数执行COPY命令导入UTF8编码的西里尔字符时，先遇到了长度错误：

COPY my_table_name(columns list)
FROM STDIN WITH CSV DELIMITER AS ';' NULL AS E'' QUOTE '"' failed.

EOF:0 Message:ERROR: value too long for type character(15)

随后在COPY命令中添加ENCODING UTF8，又出现编码不匹配错误：

COPY my_table_name(columns list)
FROM STDIN WITH CSV DELIMITER AS ';' NULL AS E'' QUOTE '"' ENCODING 'UTF8' failed.

EOF:0 Message:ERROR: character with byte sequence 0xd0 0xbb in encoding "UTF8" has no equivalent in encoding "WIN1252"

数据库和导入数据都是UTF8编码，环境中未涉及WIN1252，尝试执行set client_encoding='utf8'也无效。

解决方法 #

1. 处理字符长度错误 #

• 明确character(n)的限制逻辑：character(15)限制的是字节数而非字符数，西里尔UTF8字符每个占2-4字节，所以这个类型最多只能容纳7个西里尔字符。如果要按字符数限制，把字段类型改成varchar(15)；如果必须用character类型，需要加大字节长度（比如character(60)可容纳15个4字节的UTF8字符）。
• 检查导入数据内容：确认对应字段的实际值，排查是否存在多余空格、换行或隐藏控制字符，导致字节数超标。

2. 修复编码不匹配问题 #

• 删除COPY命令中的ENCODING 'UTF8'参数：libpq会自动按客户端编码传递数据，手动指定ENCODING会触发PostgreSQL不必要的转码检测，反而引发错误。
• 强制设置客户端编码：不要仅执行SET client_encoding='utf8'，而是在建立数据库连接时直接指定，比如libpq连接字符串写成：

  "dbname=myendb user=youruser password=yourpass client_encoding=UTF8"
  

• 检查系统环境变量：部分系统会默认将LANG或LC_CTYPE设为WIN1252，导致libpq自动继承该编码。可以在程序启动前设置环境变量：

  export LANG=en_US.UTF-8
  export LC_ALL=en_US.UTF-8
  

  或者在代码中显式设置：

  PQsetdbLogin(...);
  PQexec(conn, "SET client_encoding='UTF8'");
  

• 确认输入数据编码：确保通过PQputCopy发送的字节流确实是UTF8编码，生成字符串时避免使用本地编码（如WIN1252），直接生成UTF8字节数组。

内容的提问来源于stack exchange，提问作者Эльфия Валиева