Python中UTF-8字符串解码报str无decode属性的解决方法

问题根因 #

报错核心是你当前拿到的receiveString不是真正的UTF-8字节对象，而是字节对象的字符串字面表示。
之前的流程存在错误转换：调用plaintext.encode('utf-8')得到bytes类型结果后，直接通过str()转成字符串传入自研算法，这个操作会把字节的打印形式（带b''前缀、\x开头转义序列的文本）作为普通字符串内容存储，算法输出的自然是纯字符串类型，本身不存在decode方法，直接调用必然报错。

针对当前待处理字符串的修复方法 #

你手里拿到的形如b'v\xc3\xb4 \xc4\x91\xe1\xbb\x8bch thi\xc3\xaan h\xe1\xba\xa1'的内容是字符串类型，先通过ast.literal_eval将其还原为真实的bytes对象，再做UTF-8解码即可得到正常越南语文本，代码如下：

import ast

# 替换成你实际接收到的字符串
receive_str = "b'v\\xc3\\xb4 \\xc4\\x91\\xe1\\xbb\\x8bch thi\\xc3\\xaaan h\\xe1\\xba\\xa1'"
# 还原为真实UTF-8字节
real_utf8_bytes = ast.literal_eval(receive_str)
# 解码得到明文
vietnamese_plain = real_utf8_bytes.decode('utf-8')
print(vietnamese_plain)

运行后输出结果为：vô địch thiên hạ，无乱码。

全流程正确写法（避免后续再出现同类问题） #

自研算法仅支持字符串入参时，不要直接用str()转换字节，要使用无损单字节编码latin-1做字节和字符串的双向映射，保证内容不发生形变，流程如下：

# ---------- 编码侧 ----------
origin_text = "vô địch thiên hạ"
# 原始文本转UTF-8字节
utf8_bytes = origin_text.encode('utf-8')
# 字节无损转字符串，适配算法入参要求
algo_input_str = utf8_bytes.decode('latin-1')
# 传入自研算法完成编码
encoded_res = custom_encode(algo_input_str)

# ---------- 解码侧 ----------
# 自研算法解码输出字符串
algo_output_str = custom_decode(encoded_res)
# 字符串无损转回原始UTF-8字节
recovered_bytes = algo_output_str.encode('latin-1')
# 字节解码为正常越南语文本
final_text = recovered_bytes.decode('utf-8')

注意事项 #

• 禁止直接对bytes对象调用str()做转换用于内容传输，该方法生成的是字节的打印描述文本，不是内容本身的映射，还原成本高且易出错。
• 编解码规则必须严格对应：字节转字符串用的什么编码，字符串转回字节就必须用相同编码，否则会出现乱码或报错。
• ast.literal_eval仅用于处理已经生成的b'xxx'形式的历史存量字符串，新流程不要用这种方式做转换。

内容的提问来源于stack exchange，提问作者Tin Nguyen