Linux下处理2300万行文本：日期格式化与时间段筛选

处理2300万行这种量级的竖线分隔文本，awk是效率最高、实现最简洁的工具，bash逐行循环完全不适合，sed处理复杂逻辑的灵活性和性能都不如awk，具体分析和实现如下：

各工具效率对比 #

• Bash逐行编辑：用while read循环处理每行时，每一步字符串操作都要启动子进程或做大量IO，2300万行会导致性能爆炸式下降，处理时间可能是awk的几十倍，绝对不推荐。
• Sed：擅长简单文本替换，但要精准处理第3、4字段的日期格式转换，同时基于第4字段做范围筛选，需要写极复杂的正则和分支逻辑，不仅容易出错，性能也会随着逻辑复杂度直线下降。
• Awk：专为结构化文本处理设计，内置字段分割、字符串操作和条件判断，全程在单进程内流式处理，不占用大量内存，处理大文件的性能碾压前两者，代码也更易维护。

具体Awk实现脚本 #

核心思路：用原始的YYYYMMDD格式字符串直接做字典序比较（无需转换为日期类型，节省开销），同时将第3、4字段转换为YYYY-MM-DD格式，按条件输出到两个文件：

BEGIN {
    FS = "|"          # 输入分隔符
    OFS = "|"         # 输出分隔符
    cutoff_start = "20220806"  # 筛选起始日期（YYYYMMDD格式）
    cutoff_end = "20240806"    # 筛选结束日期（YYYYMMDD格式）
}
{
    # 转换第3字段的日期格式：YYYYMMDD → YYYY-MM-DD
    $3 = substr($3, 1, 4) "-" substr($3, 5, 2) "-" substr($3, 7, 2)
    # 保留原始第4字段用于判断，同时转换格式
    orig_end_date = $4
    $4 = substr($4, 1, 4) "-" substr($4, 5, 2) "-" substr($4, 7, 2)
    
    # 按条件输出到不同文件
    if (orig_end_date < cutoff_start) {
        print > "early_records.txt"
    } else if (orig_end_date >= cutoff_start && orig_end_date <= cutoff_end) {
        print > "range_records.txt"
    }
}

调用方式 #

将上述脚本保存为process_records.awk，然后执行：

awk -f process_records.awk your_input_file.txt

或者直接在命令行执行（更快捷）：

awk 'BEGIN{FS=OFS="|"; cutoff_start="20220806"; cutoff_end="20240806"} { $3=substr($3,1,4)"-"substr($3,5,2)"-"substr($3,7,2); orig_end=$4; $4=substr($4,1,4)"-"substr($4,5,2)"-"substr($4,7,2); if(orig_end < cutoff_start) print > "early_records.txt"; else if(orig_end >= cutoff_start && orig_end <= cutoff_end) print > "range_records.txt" }' your_input_file.txt

优化点 #

1. 用YYYYMMDD字符串直接比较：避免了调用date工具做日期转换的开销，字典序比较完全符合日期大小逻辑。
2. 保持文件句柄打开：awk的print > "file"会持续打开文件，无需每次输出都重新打开关闭，进一步提升效率。
3. 流式处理：awk不会将整个文件加载到内存，内存占用极低，适合处理超大规模文件。

内容的提问来源于stack exchange，提问作者AzaanD