PostgreSQL使用tds_fdw创建外部表查询含特殊字符行报错如何解决

你遇到的报错是编码不匹配导致的：远程SQL Server使用的Latin1_General_CI_AS编码对应Windows-1252字符集，其中ö、ü、ä这类特殊字符的单字节编码不符合UTF-8规范，tds_fdw默认尝试用UTF-8解码返回内容时就会触发解码失败。另外注意远程表的Description是nvarchar类型，存储的是Unicode内容，需要tds_fdw正确配置转码规则才能正常转换为Postgres使用的UTF-8编码。

1. 配置编码转码规则 #

推荐直接修改外部服务器的全局配置，所有使用该服务器的外部表都会自动生效：

ALTER SERVER "Remote" OPTIONS (ADD encoding 'CP1252');

如果仅需要给这一张外部表单独配置，执行以下语句：

ALTER FOREIGN TABLE "Test" OPTIONS (ADD encoding 'CP1252');

2. （可选）配置TDS版本提升兼容性 #

建议把TDS协议版本升级到7.4以上，对Unicode字符的支持更稳定：

ALTER SERVER "Remote" OPTIONS (ADD tds_version '7.4');

3. 验证效果 #

配置完成后执行测试查询即可：

SELECT "Id", "Description" FROM "Test" LIMIT 10;

如果部分脏数据仍存在转码失败的情况，可以在查询时使用转码函数容错处理：

SELECT "Id", convert_from("Description"::bytea, 'CP1252') AS "Description" FROM "Test";

内容的提问来源于stack exchange，提问作者Norbert Bartko