如何替换文件中的未知字符�为空值？Python代码失效求方案

为什么直接替换'�'没用？ #

你看到的�是Unicode替换字符（U+FFFD），通常是Python读取文件时编码不匹配，把无法解析的字节转成了这个符号。直接写'�'替换可能因为输入的字符和实际文件里的U+FFFD不一致，或者文件读取时的编码错误导致没正确捕获目标字符。

具体解决办法 #

1. 指定正确编码读取文件

先确定文件的实际编码（比如latin-1、utf-8），读取时指定编码，避免生成不必要的替换字符：

# 先检测文件编码（需要安装chardet库：pip install chardet）
import chardet
with open('decmpresed.txt', 'rb') as f:
    encoding = chardet.detect(f.read())['encoding']

# 用检测到的编码读取文件
with open('decmpresed.txt', 'r', encoding=encoding) as file:
    filedata = file.read()

# 替换U+FFFD字符
filedata = filedata.replace('\ufffd', ' ')

with open('decompresed.txt', 'w', encoding='utf-8') as file:
    file.write(filedata)

2. 直接匹配Unicode替换字符

如果不想检测编码，直接用Unicode码点'\ufffd'替换，比直接写'�'更可靠：

with open('decmpresed.txt', 'r', errors='replace') as file:
    filedata = file.read()

# 替换U+FFFD为空格
filedata = filedata.replace('\ufffd', ' ')

with open('decompresed.txt', 'w') as file:
    file.write(filedata)

3. 过滤所有非打印字符

如果不确定具体是哪个字符，直接过滤掉所有非ASCII可打印字符（保留空格、数字、字母、常见标点）：

import re

with open('decmpresed.txt', 'r', errors='replace') as file:
    filedata = file.read()

# 只保留ASCII可打印字符，其他替换为空格
filedata = re.sub(r'[^\x20-\x7E]', ' ', filedata)

with open('decompresed.txt', 'w') as file:
    file.write(filedata)

内容的提问来源于stack exchange，提问作者a.cuko