嘿，这个编码坑在Python2转Python3的时候太常见了！我之前适配老NLP代码时也踩过一模一样的雷，核心原因就是Python2和Python3对字符串的处理逻辑完全不同，再加上Windows环境下默认编码不是UTF-8，很容易触发这个错误。下面给你几个针对性的解决办法：

1. 强制文件读写使用UTF-8编码 #

Python3的open()函数默认会用系统本地编码（比如Windows下的cp1252或GBK），这类编码没法覆盖所有Unicode字符。你需要在所有涉及文件读写的地方显式指定encoding="utf-8"：

比如原来的写入代码：

with open("results.txt", "w") as f:
    f.write(processed_text)

改成：

with open("results.txt", "w", encoding="utf-8") as f:
    f.write(processed_text)

读取文件时同理：

with open("dataset.txt", "r", encoding="utf-8") as f:
    text = f.read()

如果用pandas读取数据集，也要加上编码参数：

import pandas as pd
df = pd.read_csv("dataset.csv", encoding="utf-8")

2. 修复Jupyter Notebook的输出编码 #

如果错误是在Notebook打印内容时触发的，那是因为Notebook的标准输出默认编码可能不是UTF-8。你可以在Notebook开头加这段代码强制设置：

import sys
sys.stdout.reconfigure(encoding='utf-8')

这样就能正常显示包含特殊字符的输出了。

3. 清理Python2遗留的编码转换代码 #

Python2里str是字节串，需要用.decode('utf-8')转成Unicode；但Python3里str本身就是Unicode类型，保留这类转换反而会出错：

• 去掉不必要的.decode('utf-8')调用
• 如果确实需要处理字节串，确保先转成Unicode再操作：byte_string.decode('utf-8')

4. 验证特殊字符 #

可以先打印触发错误的字符串片段，确认是不是包含非ASCII字符（比如表情、生僻字、特殊符号）。如果是，那基本可以确定是编码未指定UTF-8导致的，按上面的方法调整后就能解决。

我当时就是把所有文件操作的地方都加上了encoding="utf-8"，再清理了几个遗留的decode调用，问题就解决了，你可以试试看！

内容的提问来源于stack exchange，提问作者Timothy Cumberland