Python日志记录pyodbc异常时遭遇未知字符编码错误求助

你碰到的问题本质是日志模块的默认编码和pyodbc返回的异常信息编码不兼容——那些混杂的乱码字符（比如ઊȯ、㸸ੌȯ这类）无法被默认编码处理，导致记录日志时又触发了新的编码异常。下面给你几个实用的解决办法：

1. 配置日志时指定UTF-8编码 #

默认情况下，Python的logging.FileHandler可能会使用系统默认编码（比如Windows上的GBK），换成UTF-8就能兼容绝大多数字符。示例代码如下：

import logging

# 基础日志配置
logging.basicConfig(
    filename='app.log',
    level=logging.ERROR,
    encoding='utf-8',  # 关键：强制指定UTF-8编码
    format='%(asctime)s - %(levelname)s - %(message)s'
)

# 手动创建Handler的写法（更灵活）
handler = logging.FileHandler('app.log', encoding='utf-8')
logger = logging.getLogger()
logger.addHandler(handler)

2. 捕获异常时主动清理异常信息 #

如果不想修改日志编码，或者仍有极端特殊字符无法处理，可以在捕获异常时，把异常信息里的不可编码字符替换或过滤掉：

import pyodbc
import logging

logger = logging.getLogger(__name__)

try:
    # 你的数据库操作逻辑
    conn = pyodbc.connect(...)
    cursor = conn.cursor()
    cursor.execute(...)
except pyodbc.Error as e:
    # 方案1：只保留可打印字符和中文字符
    clean_msg = ''.join(c for c in str(e) if c.isprintable() or '\u4e00' <= c <= '\u9fff')
    logger.error(f"数据库操作失败: {clean_msg}", exc_info=True)

    # 方案2：用replace替换无法编码的字符
    # msg = str(e).encode('utf-8', errors='replace').decode('utf-8')
    # logger.error(f"数据库操作失败: {msg}", exc_info=True)

3. 自定义日志过滤器全局处理异常信息 #

如果需要全局统一处理所有日志里的异常文本，可以写一个自定义过滤器，自动清理特殊字符：

import logging

class CleanLogFilter(logging.Filter):
    def filter(self, record):
        # 清理异常堆栈文本
        if hasattr(record, 'exc_text') and record.exc_text:
            record.exc_text = ''.join(c for c in record.exc_text if c.isprintable() or '\u4e00' <= c <= '\u9fff')
        # 清理日志消息文本
        if record.msg:
            record.msg = ''.join(c for c in str(record.msg) if c.isprintable() or '\u4e00' <= c <= '\u9fff')
        return True

# 给全局日志器添加过滤器
logger = logging.getLogger()
logger.addFilter(CleanLogFilter())

最推荐的是第一种指定UTF-8编码的方案，从根源上解决了编码兼容问题；后两种可以作为补充，处理一些极端的乱码场景。

内容的提问来源于stack exchange，提问作者Martin