如何移除文本中的指定字符（含«»）并避免编码错误？

在Bash环境中，执行以下命令可完成《The Raven》文本的清理（转小写并移除指定标点符号）：

cat The_Raven.txt | gawk '{print tolower($0)}' | tr -d "\!"#$%&'()*+,-./:;<=>?@[\\]^_\`{|}~"

但在命令中添加Unicode字符«»后，执行会导致文件内容损坏不可读：

cat The_Raven.txt | gawk '{print tolower($0)}' | tr -d "\!"#$%&'()*+,-./:;<=>?@[\\]^_\`{|}~«»"

同时，使用Python的subprocess模块调用该包含«»的清理命令时，会触发编码错误：

UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 0-1: invalid continuation byte

需要找到能移除所有目标字符（包括«»）且不出现上述问题的方法。

一、Bash环境直接执行的处理方法 #

问题根源是传统tr工具仅支持单字节字符集，无法正确识别多字节的Unicode字符«»，导致破坏文件编码。可以用以下替代方案：

1. 用awk统一处理转小写和字符移除 #

awk支持UTF-8编码（需确保系统locale为UTF-8），可直接在脚本中定义包含Unicode字符的移除规则：

gawk '{
    $0 = tolower($0)
    gsub(/[!"#$%&'\''()*+,-./:;<=>?@[\\]^_`{|}~«»]/, "")
    print
}' The_Raven.txt > Cleaned_The_Raven.txt

（注：直接用awk读取文件，避免多余的cat命令）

2. 用Perl处理（Unicode支持更完善） #

Perl对多字节Unicode字符的处理兼容性更好，可一步完成转小写和字符删除：

perl -pe 'tr/A-Z/a-z/; tr/!"#$%&'\''()*+,-./:;<=>?@[\\]^_`{|}~«»//d' The_Raven.txt > Cleaned_The_Raven.txt

二、Python环境的处理方法 #

1. 直接在Python内处理（推荐，避免外部命令编码问题） #

无需调用Bash命令，直接在Python中完成文本读取、转小写和字符移除，完全规避编码兼容问题：

import re

# 定义需要移除的字符正则集合
remove_pattern = re.compile(r'[!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~«»]')

# 读取原文件
with open('The_Raven.txt', 'r', encoding='utf-8') as input_file:
    content = input_file.read()

# 执行清理：转小写 + 移除目标字符
cleaned_content = remove_pattern.sub('', content.lower())

# 保存清理后的文件
with open('Cleaned_The_Raven.txt', 'w', encoding='utf-8') as output_file:
    output_file.write(cleaned_content)

2. 正确调用subprocess命令（保留外部调用场景） #

若必须使用外部命令，需明确指定subprocess的编码参数，确保Unicode字符正确传递和解析：

import subprocess

# 构造包含Unicode字符的awk命令
cmd = '''gawk '{
    $0 = tolower($0)
    gsub(/[!"#$%&'"'"'()*+,-./:;<=>?@[\\\\]^_`{|}~«»]/, "")
    print
}' The_Raven.txt'''

# 执行命令时指定UTF-8编码
result = subprocess.run(
    cmd,
    shell=True,
    capture_output=True,
    text=True,
    encoding='utf-8'
)

# 提取并保存清理后的内容
cleaned_content = result.stdout
with open('Cleaned_The_Raven.txt', 'w', encoding='utf-8') as f:
    f.write(cleaned_content)

内容的提问来源于stack exchange，提问作者Tom Lever