为何我的sed表达式无法按预期移除包含韩文的行？

这绝对不是sed的bug，而是GNU sed和Vim在Unicode正则处理上的差异导致的——毕竟两者的正则引擎和默认行为完全不同。

问题根源 #

你写的[\u3131-\uD79D]在GNU sed里根本没被解析成韩文的Unicode范围！sed默认是按字节处理文本的，而且它不支持\uXXXX这种Unicode转义格式（这是Vim、JavaScript等工具的专属语法）。你的正则被sed当成了普通字符集合：包含反斜杠、字母u，还有ASCII码在1到D之间的字符（比如数字1-9、大写A-D），以及零散的数字3、7、9。这就导致那些包含数字、大写字母A-D的行被误匹配，进而被/d命令删除，反而留下了没被匹配到的韩文行——和你预期的完全相反。

解决方法 #

方法1：用sed支持的Unicode码点格式

GNU sed从4.2.2版本开始支持用\x{XXXX}表示Unicode码点，不过你需要确保两个前提：

1. 终端环境的LC_CTYPE设置为UTF-8（Git Bash里可以先运行export LC_CTYPE=en_US.UTF-8）
2. 使用扩展正则模式（加-E参数）

正确的命令如下：

export LC_CTYPE=en_US.UTF-8
sed -E '/[\x{3131}-\x{D79D}]/d' text.txt

方法2：直接用韩文字符匹配

如果你的环境已经正确支持UTF-8，也可以直接用韩文的字符范围来写正则，更直观：

sed -E '/[가-힣]/d' text.txt

这个范围覆盖了所有韩文音节（U+AC00到U+D7A3），如果你需要包含韩文辅音/元音字母（U+3131到U+318F），可以把范围扩展成[가-힣ㄱ-ㅎ]。

为什么Vim里能生效？ #

Vim的正则引擎原生支持Unicode，而且\uXXXX是Vim官方支持的Unicode转义语法，它会自动把这个转义解析成对应的韩文字符，所以:g/[\u3131-\uD79D]/d能精准匹配到韩文行并删除，和sed的行为差异就源于此。

内容的提问来源于stack exchange，提问作者Leftium