Python运行LSA主题提取代码出现ascii编码encode报错如何解决？

报错原因 #

• 核心触发点为get_top_n_words函数的第25行代码：the_word.encode('ascii').decode('utf-8')。你用于LSA主题提取的语料中包含非ASCII字符（比如中文、其他东亚语言字符、带重音的欧洲语言字符、emoji等），而ASCII编码仅支持0-127范围内的字符，无法对超出范围的字符完成编码，因此抛出UnicodeEncodeError。
• 该转码逻辑本身属于冗余错误设计：Python3中字符串默认就是UTF-8编码的Unicode字符串，先强行转ASCII再转回UTF-8没有实际意义，还会直接阻断所有非ASCII内容的处理。

可行解决方案 #

方案1：删除冗余转码逻辑（最推荐） #

直接去掉无意义的编码解码操作，保留原始字符串即可，可完整保留所有语料字符内容：

# 替换原第25行代码
topic_words.append(the_word)

方案2：配置转码错误处理规则（仅当需要纯ASCII结果时使用） #

如果你确实需要输出纯ASCII内容，可以给encode方法添加errors参数，避免报错：

• 自动忽略所有非ASCII字符：

topic_words.append(the_word.encode('ascii', errors='ignore').decode('utf-8'))

• 用?替换所有无法编码的非ASCII字符：

topic_words.append(the_word.encode('ascii', errors='replace').decode('utf-8'))

注意该方案会丢失非ASCII字符对应的内容，非必要不建议使用。

方案3：修改运行环境默认编码（补充方案） #

如果修改代码后仍然触发编码错误，大概率是你的运行终端默认编码被设置为ASCII，可以在代码开头添加如下配置，强制指定标准输出的编码为UTF-8：

import sys
import io
sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding='utf-8')
sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding='utf-8')

内容的提问来源于stack exchange，提问作者Vishal Harinath