如何用awk/grep从时序数据文件中提取匹配指定时间的行

针对10万行时序数据与1500行目标时间的匹配需求，以下是几种避免内存溢出的实用工具方案：

方案1：AWK（最通用） #

AWK通过先加载目标时间到内存数组，再逐行扫描大文件的方式，内存占用极低，且适配各种日期时间格式：

# 日期时间为单个字段（无空格）的情况
awk '
    NR == FNR { targets[$0] = 1; next }
    $1 in targets
' target_times.txt big_data.txt

如果日期时间包含空格（如2024-05-20 14:30:00），只需调整匹配的key为对应字段组合：

awk '
    NR == FNR { targets[$0] = 1; next }
    { key = $1 " " $2 }
    key in targets
' target_times.txt big_data.txt

原理：NR == FNR仅处理第一个输入文件（目标时间列表），将每行存入数组；后续处理大文件时，判断行首的日期时间是否存在于数组中，存在则输出整行。

方案2：Grep（最简洁） #

利用Grep的-f参数直接读取目标列表作为匹配模式，避免手动拼接超长正则导致的内存问题：

# 匹配任意位置的目标时间
grep -F -f target_times.txt big_data.txt

如果需要严格匹配行首的日期时间（避免行中出现相同字符串误匹配），可以给每个目标时间添加行首锚定符^：

# 仅匹配行首的目标时间
grep -F -f <(sed 's/^/^/' target_times.txt) big_data.txt

原理：-F将每行视为固定字符串而非正则，提升匹配速度；-f指定从文件读取匹配规则；进程替换sed 's/^/^/'给每个目标时间前加^，确保只匹配行开头。

方案3：Join（低内存流式处理） #

若可以接受对文件排序，Join命令通过流式处理匹配，内存占用最低，适合超大规模文件：

# 先分别排序两个文件（日期时间为单个字段）
sort target_times.txt > sorted_targets.txt
sort -k1,1 big_data.txt > sorted_big_data.txt

# 匹配并输出结果
join sorted_targets.txt sorted_big_data.txt

若日期时间包含空格，需指定排序和匹配的字段范围：

sort -k1,2 target_times.txt > sorted_targets.txt
sort -k1,2 big_data.txt > sorted_big_data.txt
join -1 1 -2 1 -1 2 -2 2 sorted_targets.txt sorted_big_data.txt

原理：Join要求输入文件已按匹配字段排序，之后会逐行对比两个文件的字段，匹配则合并输出。

内容的提问来源于stack exchange，提问作者OhD