如何使用sed表达式将全角字符替换为半角字符

我来帮你梳理下这个问题的解决思路和最终可行方案：

问题分析 #

你最初尝试的sed替换命令没生效，主要有两个核心问题：

1. 字符范围匹配失效：你的环境LC_CTYPE是POSIX，这种locale只处理ASCII字符，对多字节的UTF-8全角字符范围[０-９ａ-ｚＡ-Ｚ（）【】－一]无法正确识别，导致匹配逻辑完全失效。
2. 替换逻辑错误：你用的s///命令是把整个匹配到的字符块替换成指定内容，而不是逐个字符对应替换——这和你“全角转对应半角”的需求完全不匹配，应该用sed的字符转换命令y///来做逐个映射。

最终可行方案 #

临时设置locale的单命令方式 #

在执行sed时临时指定UTF-8 locale，确保sed能正确解析全角字符：

LC_ALL=en_US.UTF-8 sed 'y/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ１２３４５６７８９０（）【】－一/abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890()[]--' file.tsv > file.tsv.cleaned

永久配置系统locale（Docker环境） #

如果不想每次执行都手动指定LC_ALL，可以在Dockerfile里配置系统默认的UTF-8 locale，一劳永逸：

# 安装locale工具并生成UTF-8 locale
RUN apt-get update && apt-get install -y locales && \
    locale-gen en_US.UTF-8 && \
    update-locale LC_ALL=en_US.UTF-8 LANG=en_US.UTF-8
# 设置全局环境变量
ENV LANG=en_US.UTF-8
ENV LC_ALL=en_US.UTF-8

配置完成后，直接执行简化版命令即可：

sed 'y/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ１２３４５６７８９０（）【】－一/abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890()[]--' file.tsv > file.tsv.cleaned

方案生效的关键原因 #

• y///命令的作用：sed的y命令是字符转写（transliteration），它会把第一个字符集中的每个字符，严格按照位置对应替换成第二个字符集中的字符，完美匹配全角到半角的一对一转换需求。
• locale的作用：设置LC_ALL=en_US.UTF-8后，sed会以UTF-8编码解析输入文本，正确识别每个多字节的全角字符，确保字符映射的准确性。

测试验证 #

用你提供的样本输入：

Part Number 123-９56-AＡ 343-213-【E】 XTE-898一（5）

执行命令后会得到完全符合期望的输出：

Part Number 123-956-AA 343-213-[E] XTE-898-(5)

内容的提问来源于stack exchange，提问作者Streamline