GNU AWK中patsplit与split处理多字节字符串的可靠性问询

你观察到的这个行为是完全可依赖的，核心差异来自两个函数的设计逻辑，以及gawk对字符串和正则表达式的处理规则：

• split()：它的分隔符参数是普通字符串，gawk会按字符（而非字节）来识别分隔符和分割目标字符串。你用.做分隔符，而😄里没有这个字符，所以整个表情被作为数组唯一元素，数组长度自然是1，输出😄1符合预期。

• patsplit()：它的第二个参数是正则表达式模式。你看到的按字节处理的情况，本质是当前环境的locale没设置成UTF-8（比如默认是C locale）——在C locale下，gawk的正则表达式会以字节为单位匹配，.代表单个字节。😄是4字节的UTF-8字符，每个字节都不匹配.，所以patsplit会把每个字节拆成数组的一个元素，数组长度就是4，单个字节无法被解析成有效UTF-8字符，所以显示乱码�，最终输出�4。

依据 #

gawk的官方文档明确了这些规则：

1. split()的分隔符是字符串，分割逻辑基于当前locale定义的字符。
2. patsplit()依赖正则表达式匹配，正则的匹配单位由locale决定：UTF-8 locale下，.匹配单个Unicode字符；C locale下，.匹配单个字节。

如果想让patsplit也按字符处理，只要把locale设为UTF-8就行，比如执行export LC_ALL=en_US.UTF-8后再跑命令，输出就会变成😄1，和split一致。

内容的提问来源于stack exchange，提问作者Adam D.