PostgreSQL数据库重音及ñ字符显示为问号的ETL场景求助

以下是针对该问题的具体排查与解决步骤：

• 强制Kettle（PDI）的JVM编码为UTF-8
  PDI基于Java运行，JVM默认编码可能影响字符处理逻辑。在Docker环境启动PDI时，需在启动脚本中添加JVM参数：

  JAVA_OPTS="-Dfile.encoding=UTF-8 -Dclient.encoding.override=UTF-8 $JAVA_OPTS"
  

  若使用kitchen.sh或spoon.sh启动，直接修改脚本中的JAVA_OPTS配置即可。

• 确认PostgreSQL Docker容器的客户端编码
  数据库编码为UTF8不代表客户端连接编码正确：

  1. 启动Postgres容器时添加环境变量：-e POSTGRES_CLIENT_ENCODING=UTF8
  2. 进入容器修改postgresql.conf，设置client_encoding = 'UTF8'后重启容器
  3. 连接数据库执行SHOW client_encoding;，确认返回结果为UTF8

• 完善Kettle数据库连接的编码参数
  在PDI的PostgreSQL连接配置中：

  • 连接URL明确追加编码参数：jdbc:postgresql://host:port/dbname?clientEncoding=UTF8&characterEncoding=UTF-8
  • 在连接属性中添加clientEncoding=UTF8和characterEncoding=UTF-8键值对

• 明确XLS文件的读取编码
  在PDI的「Excel输入」步骤中：

  • 若为XLSX文件，直接指定编码为UTF-8（XLSX原生支持UTF8）
  • 若为旧版XLS文件，尝试设置编码为Windows-1252（匹配本地环境的排序规则编码），或先转换为XLSX格式再处理

• 修正Docker容器的系统Locale
  Docker默认Locale可能非UTF8，导致字符转码异常：
  启动容器时添加Locale环境变量：

  docker run -e LANG=en_US.UTF-8 -e LC_ALL=en_US.UTF-8 [其他启动参数]
  

  进入容器执行locale命令，确认所有LC开头的变量均为en_US.UTF-8

• 分段验证字符传递链路
  在ETL流程中插入「文本文件输出」步骤，将含重音的字段输出到Docker容器内的文本文件：

  • 若文件中字符正常，说明问题出在数据库连接或数据库端
  • 若文件中仍显示问号，说明问题在XLS读取或源数据库采集阶段

内容的提问来源于stack exchange，提问作者Igniris Valdivia Báñez