如何在Python中用自定义错误处理器同时处理编码与解码

可行性说明 #

你的方案完全可行，只需在原utf8_hex_replace函数中添加UnicodeDecodeError的处理分支，即可实现编码时将非ASCII字符转为[XX XX ...]格式、解码时反向还原的双向功能。

完整实现代码 #

import codecs
import re

def utf8_hex_replace(exception):
    # 处理编码异常：将非ASCII字符转为UTF-8十六进制带括号格式
    if isinstance(exception, UnicodeEncodeError):
        char = exception.object[exception.start]
        hex_str = char.encode('UTF-8').hex(' ').upper()
        replacement = f"[{hex_str}]"
        return replacement, exception.start + 1
    # 处理解码异常：识别[XX XX ...]格式并还原为原字符
    elif isinstance(exception, UnicodeDecodeError):
        # 从异常位置开始提取后续字节，匹配括号格式
        byte_data = exception.object[exception.start:]
        try:
            # 匹配开头的[XX XX ...]格式片段
            match = re.match(rb'\[([A-F0-9 ]+)\]', byte_data)
            if match:
                hex_part = match.group(1).replace(b' ', b'')
                # 将十六进制字节转为UTF-8字符
                decoded_char = bytes.fromhex(hex_part.decode()).decode('UTF-8')
                # 返回还原字符，跳过整个匹配片段的长度
                return decoded_char, exception.start + len(match.group(0))
        except:
            pass  # 匹配/解码失败时重新抛出原异常
        raise exception
    # 其他类型异常直接抛出
    else:
        raise exception

# 注册自定义错误处理规则
codecs.register_error('utf8hexreplace', utf8_hex_replace)

# 测试编码流程
text = 'Hello, 世界'
encoded = text.encode('ASCII', errors='utf8hexreplace')
print("编码结果:", encoded)
# 输出: b'Hello, [E4 B8 96][E7 95 8C]'

# 测试解码流程
decoded = encoded.decode('ASCII', errors='utf8hexreplace')
print("解码结果:", decoded)
# 输出: Hello, 世界

关键逻辑说明 #

1. 编码分支：保留你原有的逻辑，捕获UnicodeEncodeError时，提取无法编码的字符，转为UTF-8字节后生成带括号的十六进制字符串，返回替换内容和下一个处理位置。
2. 解码分支：
   • 捕获UnicodeDecodeError时，从异常起始位置的字节数据中用正则匹配[XX XX ...]格式的片段
   • 去除空格后将十六进制字符串转为原始字节，再解码为UTF-8字符
   • 返回还原的字符，并跳过整个匹配到的括号片段长度，确保后续解码流程正常推进
3. 异常兜底：若解码时无法匹配格式或转换失败，重新抛出原异常，保证错误处理的严谨性

优化建议 #

• 预编译正则表达式可提升性能：在函数外定义HEX_PATTERN = re.compile(rb'\[([A-F0-9 ]+)\]')，后续直接调用HEX_PATTERN.match()
• 若需处理更复杂场景（如非法十六进制值、嵌套括号），可添加额外的参数校验逻辑

内容的提问来源于stack exchange，提问作者LeapingQuantum