如何解决pyodbc读取Big5编码香港MYOB文件的中文乱码问题
pyodbc读取香港版MYOB Big5编码乱码处理方案
问题复现与前期验证
- 运行环境:与香港版MYOB同机部署的32位Windows系统,系统为Big5编码环境,Python为同版本32位3.7,与MYOB可执行文件运行环境完全一致
- 复现操作:通过pyodbc执行数据查询,示例代码为
返回结果中的地址字段会出现乱码,示例乱码值为:cursor = myob_cnxn.cursor() cursor.execute(f"select * from {tablename}") rows = cursor.fetchall()'¤EÀs»ò¦a¹D62¸¹¥Ã¦w¼s³õ2¼Ó8«Ç' - 对照验证结论:
- MYOB自带导出功能生成的文件,直接用Big5编码打开可完全正常显示中文
- Python返回的上述乱码字符串保存为本地文件后,用Big5编码打开可正常显示大部分内容,仅少部分字符会触发解码报错
- 已验证的无效方案:为pyodbc连接设置编码参数
myob_cnxn.setencoding(encoding="big5"),执行后无任何效果
最终解决方案
出现上述问题的核心原因是:pyodbc返回的乱码字符串,实际是把数据库返回的原始Big5字节流,按单字节映射的Latin-1编码错误解码生成的Python字符串,因此需要先把字符串转回对应的原始字节流,再重新按Big5编码规则正确解码即可。
- 核心实现代码:
big5_decoded = value.encode("latin",errors="ignore").decode("big5",errors="ignore") - 参数说明:代码中添加
errors="ignore"参数,会自动丢弃解码过程中遇到的无法正常识别的异常字符,适配可接受少量字符丢失的使用场景。
内容的提问来源于stack exchange,提问作者Tim Richardson
相关产品推荐
相关产品推荐

