Python中波兰字符（ISO-8859-2）转PostgreSQL UTF-8编码异常问题

排查与修复步骤 #

• 确认.unl文件的真实编码
  不要直接默认用latin2，先通过工具检测文件实际编码。用Python的chardet库快速检测：

  import chardet
  with open('poland_data.unl', 'rb') as f:
      detect_result = chardet.detect(f.read())
  print(f"检测到编码：{detect_result['encoding']}，置信度：{detect_result['confidence']}")
  

  Informix生成的波兰语.unl文件常使用cp1250（Windows中欧编码）而非标准latin2，这是常见的编码匹配错误点。

• 校验PostgreSQL的字符集配置
  确保目标数据库和表的字符集支持中欧字符，优先使用UTF8（PostgreSQL官方推荐的通用字符集）。执行以下SQL查看当前配置：

  SHOW server_encoding;
  SHOW client_encoding;
  

  如果客户端或服务器编码是latin2，修改为UTF8（操作前请备份数据）：

  ALTER DATABASE your_database_name SET client_encoding TO 'UTF8';
  

• 修正Python读写的编码链路
  读取文件时使用检测到的真实编码，连接PostgreSQL时明确指定客户端编码为UTF8，避免中间转换出错：

  # 示例：假设检测到编码为cp1250
  with open('poland_data.unl', 'r', encoding='cp1250') as unl_file:
      data_lines = unl_file.readlines()
  
  # psycopg2连接时指定client_encoding
  import psycopg2
  conn = psycopg2.connect(
      dbname="your_db",
      user="your_user",
      password="your_pass",
      host="your_host",
      client_encoding="utf8"
  )
  

• 检查.unl文件的格式规则
  Informix的.unl文件可能使用自定义分隔符或转义符，如果波兰语特殊字符（如ą、ć、ź）被错误转义或截断，也会导致显示异常。可以先打印读取的行内容，验证字符是否完整。

常见误区 #

• 混淆latin2与cp1250：两者同属中欧编码，但部分字符映射存在差异，波兰语环境下cp1250更常用于Windows生成的文件。
• 客户端与服务器编码不匹配：即使服务器是UTF8，若客户端编码设为latin2，数据传输时会出现不必要的编码转换错误。

内容的提问来源于stack exchange，提问作者user25273768