使用sed插入行后字符间出现空格（NULL）的原因及解决办法

问题根源 #

你遇到的情况是原文件编码与cygwin/msys2的sed默认处理编码不匹配导致的——大概率原文件是UTF-16双字节编码（Windows系统常见的Unicode编码），而sed默认处理单字节编码（UTF-8/ANSI），修改后文件编码错乱，表现为字符间出现ASCII NULL（终端显示为空格）。

具体解决步骤 #

1. 转换文件编码后再处理（最可靠） #

• 用Notepad++手动转换：
  打开原文件，查看右下角的编码标识（比如「UTF-16 LE」），点击「编码」→「转为UTF-8」（带或不带BOM均可），保存后再执行sed命令：

  sed -i '1i pressure-prof' myfile.txt
  

  若需要还原为原编码，处理完成后再转回去即可。

• 用iconv命令批量转换：
  适合大型文件，在cygwin/msys2终端执行：

  # 假设原文件是UTF-16LE编码，转为UTF-8
  iconv -f UTF-16LE -t UTF-8 myfile.txt > myfile_utf8.txt
  # 处理转换后的文件
  sed -i '1i pressure-prof' myfile_utf8.txt
  # 如需转回原编码，执行：
  iconv -f UTF-8 -t UTF-16LE myfile_utf8.txt > myfile.txt
  

2. 规避sed原地修改的编码问题 #

部分情况下，-i参数（原地修改）会触发编码兼容bug，可改用输出到临时文件再替换的方式：

sed '1i pressure-prof' myfile.txt > temp.txt && mv temp.txt myfile.txt

3. 更新sed到最新版本 #

旧版sed对Windows编码支持较差，更新到最新版可解决部分兼容问题：

• cygwin：打开cygwin安装器，搜索并更新sed包；
• msys2：在终端执行pacman -S sed完成更新。

4. 指定编码让sed处理UTF-16文件（可选，不推荐） #

通过设置locale让sed识别UTF-16编码，但该方法依赖系统locale配置，稳定性不如编码转换：

LC_ALL=en_US.UTF-16 sed -i '1i pressure-prof' myfile.txt

内容的提问来源于stack exchange，提问作者brawny84