awk调用date将日期字符串转为epoch时间返回固定值的解决方法

• awk 不会自动解析双引号字符串内的变量：原脚本中cmd="date -d \"$1\" +%s"是完整的字符串常量，里面的$1不会被替换为当前行的日期字段，会作为字面量传给shell。shell执行命令时读取自身的位置参数$1，而调用shell时未传入任何位置参数，该值为空，等价于直接执行date +%s返回当前系统时间。
• 命令字符串固定导致结果复用：由于每一行生成的cmd内容完全一致，awk的管道机制会复用首次执行的返回结果，即便调用了close()，部分awk实现仍会返回缓存值，最终所有行输出同一个时间戳。

通用兼容版（兼容所有awk实现） #

构造命令时将日期字段显式拼接到命令字符串中，用独立变量接收时间戳结果，避免直接赋值给$1触发字段重分割带来的异常：

#!/usr/bin/awk -f 

BEGIN {
    FS=","
}

/^[0-9]/ {
    # 显式拼接$1字段值到命令中，用引号包裹避免空格拆分参数
    cmd = "date -d \"" $1 "\" +%s"
    cmd | getline ts
    close(cmd)
    print ts, $2
    next
}

高性能版（仅适用于GNU Awk 4.2+） #

使用内置时间函数实现，无需调用外部date命令，处理大体积日志文件时性能可提升数十倍：

#!/usr/bin/awk -f 

BEGIN {
    FS = ","
    # 正则拆分日期时间字段
    time_pattern = "^([0-9]{4})-([0-9]{2})-([0-9]{2}) ([0-9]{2}):([0-9]{2}):([0-9]{2})"
}

/^[0-9]/ {
    if (match($1, time_pattern, t)) {
        # mktime接收格式为「年 月 日 时 分 秒」的参数，直接返回epoch时间戳
        ts = mktime(t[1] " " t[2] " " t[3] " " t[4] " " t[5] " " t[6])
        print ts, $2
    }
    next
}

运行上述任意一个修正后的脚本，处理示例数据即可得到预期的逐行递增时间戳输出。

内容的提问来源于stack exchange，提问作者Andreas Schuldei