Python最优方法解码过滤Teradata读取的txt文件中的乱码字符

示例中é、ç、î这类以Ã为前缀的乱码，属于UTF-8字节流被错误以ISO-8859-1单字节编码解码产生的典型异常，并非未知编码。
常见字符的乱码对应关系可直接验证：

• 正确字符é（U+00E9）的UTF-8编码为字节序列0xC3 0xA9，若按ISO-8859-1逐字节解码，会得到两个字符：Ã（对应字节0xC3）、©（对应字节0xA9），因字体显示差异，版权符号常被误识别为é，也就是示例中的é
• 正确字符ç（U+00E7）的UTF-8编码为字节序列0xC3 0xA7，错误解码后得到Ã+§，对应示例中的ç
• 正确字符î（U+00EE）的UTF-8编码为字节序列0xC3 0xAE，错误解码后得到Ã+®，对应示例中的î

• 在Sublime中手动调整文件编码的操作，是基于文件实际存储的原始字节做重映射。但当前拿到的乱码文件，是经过错误解码生成的Unicode文本，并非原始字节流，直接在编辑器中切换编码本质是给已经解码错误的文本再叠加一层编码规则，无法还原真实内容
• 社区流传的通用编解码组合，大多针对单字节代码页不匹配的通用场景，没有覆盖Teradata取数链路中“数据库存储编码-会话连接编码-客户端解码编码”三层匹配的特殊逻辑，无法适配这类场景的转换需求

根因排查 #

检查取数链路的字符集配置：

• 核对Teradata JDBC/ODBC驱动连接字符串的字符集参数，确认参数值（UTF8/LATIN）与数据库列实际定义的字符集完全匹配
• 确认目标表的列定义：如果列定义为CHAR(n) CHARACTER SET LATIN，实际存储西欧拉丁字符，若连接时错将会话字符集设为UTF8，驱动返回的字节流就会被客户端错误解码，产生上述乱码

文本还原操作 #

如果已拿到存储为乱码的文本（非原始字节流），通过反向编解码即可得到正确内容：

• 将当前乱码文本按ISO-8859-1编码生成原始字节流
• 将生成的字节流按UTF-8解码为可读的拉丁字符文本
  示例转换逻辑：

乱码文本é，按ISO-8859-1编码得到字节序列0xC3 0xA9，再以UTF-8解码，即可得到正确字符é

后续规避方案 #

• 取数链路固定字符集匹配：数据库列为LATIN字符集时，连接参数直接指定CHARSET=LATIN，不强制使用UTF8会话
• 导出结果时手动指定导出编码与会话字符集一致，关闭“自动识别编码”选项，避免中间层二次转码

内容的提问来源于stack exchange，提问作者Don Code