如何识别XML文件编码并转换非标准字符为UTF-8可读格式？

我们从两家外部供应商接收XML数据馈送，经内部ETL处理后推送到内部系统，目前遇到编码和非标准字符相关问题：

XML文件1情况 #

• 供应商软件及XML生成流程老旧
• 文件无XML声明标签
• Sublime打开时提示：unable to auto detect encoding for C:\file1.xml, using fallback encoding Western (Windows 1252)
• 浏览器打开时报错：error on line 500 at column 30: Encoding error
• ETL处理含非标准字符的节点时任务失败
• 存在预期字符与编辑器显示不符的情况

XML文件2情况 #

• 供应商软件及XML生成流程老旧
• 文件顶部有声明标签：<?xml version="1.0" standalone="yes"?>
• Sublime打开无错误提示
• 浏览器打开无可见错误
• ETL任务可运行，但插入的是编码错误字符而非预期字符
• 存在预期字符与编辑器显示不符的情况

核心问题 #

1. 如何确定XML文件的真实编码？
2. 已知ETL可指定源文件及目标系统编码，确定源编码后能否将非标准字符转换为UTF-8等效字符？
3. 直接询问供应商XML的创建编码是否可行？

解决方案建议 #

1. 确定XML真实编码的方法 #

• 用编码检测工具：使用chardet（Python库）、enca（命令行工具）这类工具分析文件字节流，直接给出编码推测结果；
• 结合报错反向推导：文件1被Sublime自动 fallback 到Windows 1252，且浏览器报编码错误，大概率是Windows 1252或ISO-8859-1这类单字节编码；
• 手动测试验证：用Notepad++这类编辑器切换不同编码打开文件，观察乱码字符是否恢复为预期内容；
• 查看文件字节值：用十六进制编辑器（如Notepad++的Hex Editor插件）打开文件，对比特殊字符的字节值与编码表的对应关系。

2. UTF-8转换可行性 #

确定源编码后，只要ETL软件支持该源编码与UTF-8的转换，就能将字符转为UTF-8等效字符。需要注意：

• 多数老旧编码（如Windows 1252）的常用特殊字符在UTF-8中都有直接对应，转换后能正常显示；
• 如果遇到编码中的私有字符或罕见字符，可能需要提前做字符映射或替换为近似字符，转换后务必验证结果是否符合预期。

3. 询问供应商编码的可行性 #

完全可行，这是最直接高效的方法。不仅能快速获取准确编码信息，还可以建议供应商优化输出：生成带明确编码声明的UTF-8格式XML，从源头减少编码问题。

内容的提问来源于stack exchange，提问作者cfuser2023