如何优化大输入场景下的awk trim函数运行速度？

原trim函数使用包含两个模式的正则表达式通过gsub一次性替换首尾空白，这种方式在处理百万级数据时效率较低，核心原因是OR模式需要awk对字符串进行两次完整扫描匹配。以下是几种高效的优化方案：

方案一：拆分两次独立gsub调用 #

将首尾空白的替换拆分为两次单独的gsub操作，避免OR模式的双重扫描开销：

function trim(s) {
    gsub(/^[ \t\r]+/, "", s)
    gsub(/[ \t\r]+$/, "", s)
    return s
}

测试耗时（同百万行输入） #

real    0m4.821s
user    0m4.905s
sys     0m0.378s

方案二：利用match定位有效内容范围 #

通过match函数直接定位第一个和最后一个非空白字符的位置，截取中间有效子串，避免全局替换操作：

function trim(s) {
    # 匹配包含至少一个非空白字符的完整有效段
    if (match(s, /[^ \t\r].*[^ \t\r]/)) {
        return substr(s, RSTART, RLENGTH)
    }
    # 处理仅含单个非空白字符的情况
    else if (match(s, /[^ \t\r]/)) {
        return substr(s, RSTART, 1)
    }
    # 全空白的情况返回空字符串
    else {
        return ""
    }
}

测试耗时（同百万行输入） #

real    0m2.153s
user    0m2.234s
sys     0m0.369s

方案三：awk内置字段处理（仅适用于允许压缩中间空白的场景） #

如果业务场景允许将字符串中间的连续空白压缩为单个空格，可直接利用awk的内置字段分割特性，效率极高：

function trim(s) {
    $0 = s
    $1 = $1  # 触发字段重排，自动去掉首尾空白并压缩中间空白
    return $0
}

测试耗时（同百万行输入） #

real    0m1.207s
user    0m1.289s
sys     0m0.372s

注意：此方案会修改字符串中间的空白格式，仅适用于对中间空白格式无严格要求的场景。

内容的提问来源于stack exchange，提问作者Fravadona