OpenWRT下sed处理emoji正则报错问题排查求助

下面的脚本可在CentOS等常规Linux系统正常执行，实现移除文本中的Emoji：

#!/bin/sh
emoji="\U1f300-\U1f5ff\U1f900-\U1f9ff\U1f600-\U1f64f\U1f680-\U1f6ff\U2600-\U26ff\U2700-\U27bf\U1f1e6-\U1f1ff\U1f191-\U1f251\U1f004\U1f0cf\U1f170-\U1f171\U1f17e-\U1f17f\U1f18e\U3030\U2b50\U2b55\U2934-\U2935\U2b05-\U2b07\U2b1b-\U2b1c\U3297\U3299\U303d\U00a9\U00ae\U2122\U23f3\U24c2\U23e9-\U23ef\U25b6\U23f8-\U23fa"
sample="This 🍒 is ⭐ a 🐢 line 🤮 of 😃 emoji ✈"
echo $sample
echo $sample | LC_ALL=UTF-8 sed -e "s/[$(printf $emoji)]//g"

但在OpenWRT系统执行时，会抛出「sed: bad regex Invalid character range」错误，或无法得到正确的移除结果。即便将sed版本升级至4.8，缩短Emoji字符范围（比如仅保留\U1f300-\U1f5ff），问题依旧存在。

问题根源 #

这不是bash版本导致的问题，核心原因在于OpenWRT的系统环境特性：

• libc差异：OpenWRT默认采用musl libc，而CentOS用的是glibc。musl对Unicode字符范围的解析逻辑和glibc存在明显差异，尤其是对于超出BMP（基本多语言平面，U+0000到U+FFFF）的Emoji字符（大多是U+1Fxxx这类补充平面字符），musl的正则引擎无法正确识别这类跨平面的字符范围。
• sed编译特性：就算是同版本的sed，在musl环境下编译时，正则表达式的Unicode支持可能没有完全开启，或者对宽字符的处理逻辑和glibc环境下不同。

可行解决方案 #

方案一：改用awk处理 #

awk在musl环境下的Unicode支持更稳定，用awk替代sed即可实现需求：

#!/bin/sh
sample="This 🍒 is ⭐ a 🐢 line 🤮 of 😃 emoji ✈"
echo "$sample" | LC_ALL=UTF-8 awk '{gsub(/[\x{1f300}-\x{1f5ff}\x{1f900}-\x{1f9ff}\x{1f600}-\x{1f64f}\x{1f680}-\x{1f6ff}\x{2600}-\x{26ff}\x{2700}-\x{27bf}\x{1f1e6}-\x{1f1ff}\x{1f191}-\x{1f251}\x{1f004}\x{1f0cf}\x{1f170}-\x{1f171}\x{1f17e}-\x{1f17f}\x{1f18e}\x{3030}\x{2b50}\x{2b55}\x{2934}-\x{2935}\x{2b05}-\x{2b07}\x{2b1b}-\x{2b1c}\x{3297}\x{3299}\x{303d}\x{00a9}\x{00ae}\x{2122}\x{23f3}\x{24c2}\x{23e9}-\x{23ef}\x{25b6}\x{23f8}-\x{23fa}]/, ""); print}'

方案二：使用专门工具处理 #

如果需要保留sed类似的工作流，可以安装uconv（通过opkg install icu获取），利用其Unicode字符过滤能力：

echo "$sample" | uconv -x "Any-NFKC; [:Emoji:]>"

内容的提问来源于stack exchange，提问作者user22311704