特定场景下unicodedata.normalize无法去除Unicode的问题求助

核心原因 #

你遇到的问题本质是字符串中的Unicode转义序列未被正确解析：

• 手动测试时传入的是真实的Unicode非断空格字符（\xa0，U+00A0），unicodedata.normalize("NFKD")能正常将其转换为普通空格。
• 但从Google Sheets获取的数据中，\xa0被存储为字面量转义序列（即Python字符串中的"\\xa0"，对应两个字符：反斜杠+xa0），而非真实的Unicode字符。此时unicodedata.normalize无法识别这种转义序列，自然无法处理。
• 你用"\\n"拆分字符串的操作可能加剧了问题：如果原始数据中的换行是真实的\n字符，用"\\n"（匹配字面量\n）拆分会失败，导致整段文本被当作单个元素，后续处理时转义序列未被解析。

解决方案 #

步骤1：解析转义序列为真实Unicode字符 #

先将包含字面量转义序列的字符串解码为真实的Unicode字符，推荐使用ast.literal_eval（安全可靠，不会执行恶意代码）：

import ast

# 对循环中的每个line进行解码
decoded_line = ast.literal_eval(f'"{line}"')

或者使用codecs.decode的unicode_escape编码：

import codecs

decoded_line = codecs.decode(line, 'unicode_escape')

步骤2：修正字符串拆分逻辑 #

如果原始raw_data中的换行是真实的\n字符，直接用"\n"拆分即可：

input_lines = raw_data.split("\n")

如果原始数据中的换行是字面量\\n（即字符串中存储的是\+n），则先解码转义序列再拆分：

decoded_raw = codecs.decode(raw_data, 'unicode_escape')
input_lines = decoded_raw.split("\n")

步骤3：执行Unicode归一化 #

对解码后的字符串执行归一化操作，此时就能正常处理非断空格：

import unicodedata

cleaned_line = unicodedata.normalize("NFKD", decoded_line).strip()

完整示例代码 #

import unicodedata
import ast

# 模拟从Google Sheets获取的raw_data
raw_data = "\n\n1. Clean the Ice Cream Maker –\\xa0Use a damp cloth or sponge to wipe down the outside and inside of the ice cream maker to remove dust or dirt."

# 先解码转义序列
decoded_raw = ast.literal_eval(f'"{raw_data}"')
# 拆分换行
input_lines = decoded_raw.split("\n")

# 循环处理每一行
cleaned_lines = []
for line in input_lines:
    if line.strip():  # 跳过空行
        cleaned_line = unicodedata.normalize("NFKD", line).strip()
        cleaned_lines.append(cleaned_line)

print(cleaned_lines)

内容的提问来源于stack exchange，提问作者Eric