导入含哈萨克语文本的CSV后查询数据出现UTF-8解码错误求助

1. 确认CSV文件真实编码 #

你提到保存为UTF-8，但错误里的0xd2字节更符合GBK/GB2312或Windows-1251编码（哈萨克语常用后者）。验证方法：

• Linux/macOS终端执行：file -i your_file.csv，查看输出的charset值
• Windows用Notepad++打开，看右下角编码标识，或用PowerShell执行Get-Content your_file.csv -Encoding Byte | Select-Object -First 10分析字节

如果实际编码不是UTF-8，重新保存为UTF-8 with BOM（Notepad++可直接选）后重新导入。

2. 用COPY命令强制指定编码导入 #

pgAdmin的编码设置可能失效，直接用PostgreSQL的COPY命令手动导入，明确指定文件编码：

COPY your_table FROM '/path/to/your.csv' WITH (FORMAT csv, ENCODING 'Windows-1251', HEADER);

把Windows-1251换成你检测到的实际编码，比如GBK。

3. 检查表字段类型 #

确保存储哈萨克语文本的字段是TEXT或VARCHAR，无错误编码约束。查看表结构：

\d your_table;

如果是CHARACTER VARYING(n)，确认长度足够，避免截断导致编码损坏。

4. 修复已导入的损坏数据 #

若已有损坏记录，按以下步骤修复：

1. 导出含非ASCII字符的记录：

COPY (SELECT * FROM your_table WHERE your_text_col ~ '[^\x00-\x7F]') TO '/tmp/bad_records.csv' WITH (FORMAT csv, ENCODING 'UTF-8');

2. 用iconv转码（Linux/macOS）：

iconv -f Windows-1251 -t UTF-8 /tmp/bad_records.csv > /tmp/fixed_records.csv

3. 删除原表损坏记录并导入修复后的数据：

DELETE FROM your_table WHERE your_text_col ~ '[^\x00-\x7F]';
COPY your_table FROM '/tmp/fixed_records.csv' WITH (FORMAT csv, ENCODING 'UTF-8', HEADER);

5. 终端环境编码检查 #

终端执行查询时，确保环境变量为UTF-8：

echo $LC_ALL $LANG

若输出不是en_US.UTF-8或类似UTF-8编码，临时设置：

export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8

永久生效可添加到~/.bashrc或~/.zshrc。

内容的提问来源于stack exchange，提问作者SayanBayKaz