解决AWK报错‘invalid regexp: Invalid collation character’并实现多字节字符过滤

我来帮你搞定这个问题！你遇到的报错确实和AWK的实现以及locale的具体处理逻辑有关，虽然两台机器的locale显示一致，但不同的AWK版本（比如GNU AWK vs macOS自带的BSD AWK）对UTF-8环境下的正则字符范围解析规则不一样，导致了这个问题。下面给你几个可行的解决方案：

方法一：强制AWK使用C locale运行 #

这个方法最简单，直接让AWK用单字节的C locale来处理字符，这样你的原脚本逻辑就能完全生效，不会触发多字节相关的正则报错。只需要在调用awk时加上LC_ALL=C环境变量：

firstval=$'\x1c'
lastval=$'\xFF'
regex="[^${firstval}-${lastval}]"
LC_ALL=C awk -v REGEX="${regex}" '{if ($0 !~ REGEX){print $0}}' myfile

原理是：C locale下所有字符都按单字节的ASCII值处理，[^${firstval}-${lastval}]会准确匹配任何不在0x1c到0xFF范围内的字节，从而过滤掉包含多字节字符的记录。

方法二：遍历字符检查码点（更通用，不依赖正则） #

如果不想依赖locale设置，你可以直接在AWK脚本里遍历每一行的每个字符，检查它的Unicode码点是否超过0xFF（多字节字符的码点都大于0xFF），这样兼容性更好，不管是GNU AWK还是BSD AWK都能适用。

针对GNU AWK（gawk）的版本： #

GNU AWK自带ord()函数可以直接获取字符的码点：

awk '{
    is_valid = 1
    for (i = 1; i <= length($0); i++) {
        char = substr($0, i, 1)
        if (ord(char) > 0xFF) {
            is_valid = 0
            break
        }
    }
    if (is_valid) print $0
}' myfile

针对BSD AWK（比如macOS默认awk）的版本： #

BSD AWK没有ord()函数，我们可以通过检查字符的字节长度来判断是否是多字节字符：

awk '{
    is_valid = 1
    line_len = length($0)
    for (i = 1; i <= line_len; i++) {
        char = substr($0, i, 1)
        # 多字节字符在UTF-8中占多个字节，所以格式化后的长度大于1
        if (length(sprintf("%s", char)) > 1) {
            is_valid = 0
            break
        }
    }
    if (is_valid) print $0
}' myfile

为什么相同locale下表现不同？ #

核心原因是AWK的实现差异：你工作环境的机器大概率用的是GNU AWK（gawk），它对UTF-8环境下的字节范围正则兼容性更好；而你的笔记本可能用的是BSD AWK（比如macOS默认的awk），它在UTF-8 locale下解析[\x1c-\xFF]这种范围时，会把它当成排序规则（collation）中的范围，而不是字节值范围，从而抛出“Invalid collation character”的错误。

如果愿意的话，你也可以在笔记本上安装GNU AWK（比如用brew install gawk），之后直接用gawk替代awk运行你的原脚本，也能解决问题。

备注：内容来源于stack exchange，提问作者Kyle Banerjee