使用SED命令后如何将文本文件编码恢复为UTF-8

这是典型的sed处理多字节UTF-8字符时的编码混乱问题，核心原因是系统locale设置不对，或者sed没有以UTF-8模式运行，导致多字节的印度语言字符被当成单字节处理，破坏了原有的编码结构。下面是具体的解决步骤：

1. 检查并设置正确的Locale环境 #

sed的行为直接依赖系统的locale配置，如果LC_CTYPE不是UTF-8，它会错误解析UTF-8的多字节字符：

• 先执行命令查看当前locale配置：

  locale
  

  确认LC_CTYPE字段的值是否包含UTF-8（比如en_US.UTF-8或对应印度语言的kn_IN.UTF-8，对应你文件里的卡纳达语）。
• 如果不是UTF-8，临时设置正确的locale：

  export LC_CTYPE=en_US.UTF-8
  

  （如果系统有卡纳达语专属的UTF-8 locale，用kn_IN.UTF-8会更适配）

2. 用UTF-8模式重新执行sed命令 #

在正确的locale环境下，重新运行你的sed处理命令。比如假设原来的命令是：

sed 's/目标内容/替换内容/' 100.txt > processed_100.txt

处理完成后用file -bi processed_100.txt验证，应该显示text/plain; charset=utf-8，文件内容也不会再乱码。

3. 修复已经生成的乱码文件 #

如果已经得到了乱码文件（就是你提到的显示ಹà³à²¨à²°à³...的文件），可以通过iconv命令把它转回到UTF-8：

iconv -f ISO-8859-1 -t UTF-8 乱码文件名.txt > 修复后的文件名.txt

这是因为乱码本质是UTF-8字节被错误当成单字节的ISO-8859-1编码解析，转码后就能恢复原有的卡纳达语内容。

4. 确认sed版本支持UTF-8 #

如果上面的步骤都无效，可能是你的sed版本太老。GNU sed从4.2版本开始才支持UTF-8多字节字符处理，执行sed --version查看版本，必要时升级到最新版本即可。

内容的提问来源于stack exchange，提问作者Naveed