Shell脚本处理万行文本是否低效？及日期差过滤需求咨询

好问题！先直接给你结论：Shell处理1万行文本不一定效率低下——关键看你用什么工具、怎么写逻辑。你的当前脚本用while read逐行处理，确实会比较慢，但换成更适合文本处理的工具（比如awk），处理万行甚至几十万行都能秒级完成。

首先，bash本身的循环（比如while read）确实效率不高，因为每一次循环都会有固定的开销，而且如果在循环里频繁调用外部命令（比如awk、sed），每次都会启动新的子进程，累积起来在万行级别的数据上就会显得很慢。

但Shell生态里有很多专门的文本处理工具，比如awk、sed、grep，这些工具都是用C语言实现的，处理文本是它们的强项——单进程流式处理，不需要频繁启动子进程，效率极高。别说1万行，就是100万行，处理起来也毫无压力。

所以核心原则是：不要用bash的逐行循环来处理大文本，改用awk/sed这类工具，效率会提升几个数量级。

你的需求是过滤掉两组日期间隔不足30天的行，用awk来实现会比bash循环高效太多。下面是具体的实现思路和代码：

思路拆解 #

1. 从每行中提取两组6位的日期（格式YYMMDD）
2. 将日期转换为可计算的天数（方便计算间隔）
3. 计算两个日期的天数差，保留差≥30天的行

完整awk脚本 #

function abs(x) {
    return x < 0 ? -x : x
}

function date_to_days(yy, mm, dd) {
    # 转换为4位年份（假设是2000年后的日期，若需支持更早年份可调整）
    year = 2000 + yy
    # 定义各月份天数（非闰年）
    days_in_month[1] = 31
    days_in_month[2] = 28
    days_in_month[3] = 31
    days_in_month[4] = 30
    days_in_month[5] = 31
    days_in_month[6] = 30
    days_in_month[7] = 31
    days_in_month[8] = 31
    days_in_month[9] = 30
    days_in_month[10] = 31
    days_in_month[11] = 30
    days_in_month[12] = 31
    # 处理闰年
    if ((year % 4 == 0 && year % 100 != 0) || year % 400 == 0) {
        days_in_month[2] = 29
    }
    # 计算从2000年1月1日开始的总天数
    total_days = (year - 2000) * 365 + int((year - 2000 + 3) / 4) # 加上闰年数
    for (m = 1; m < mm; m++) {
        total_days += days_in_month[m]
    }
    total_days += dd
    return total_days
}

# 处理每行
{
    # 匹配第一个6位日期
    if (match($0, /[0-9]{6}/)) {
        date1 = substr($0, RSTART, RLENGTH)
        # 从匹配位置之后找第二个6位日期
        rest_str = substr($0, RSTART + RLENGTH)
        if (match(rest_str, /[0-9]{6}/)) {
            date2 = substr(rest_str, RSTART, RLENGTH)
            
            # 拆分日期为年、月、日（转数字避免前导零问题）
            yy1 = substr(date1, 1, 2)
            mm1 = substr(date1, 3, 2) + 0
            dd1 = substr(date1, 5, 2) + 0
            yy2 = substr(date2, 1, 2)
            mm2 = substr(date2, 3, 2) + 0
            dd2 = substr(date2, 5, 2) + 0
            
            # 转换为天数并计算间隔
            days1 = date_to_days(yy1, mm1, dd1)
            days2 = date_to_days(yy2, mm2, dd2)
            
            # 保留间隔≥30天的行
            if (abs(days2 - days1) >= 30) {
                print $0
            }
        }
    }
}

使用方法 #

把上面的代码保存为filter_dates.awk，然后在终端运行：

awk -f filter_dates.awk your_input_file > filterfile

为什么这个方法更快？ #

• awk是流式处理，一次性读取整个文件，不需要逐行启动子进程
• 所有计算逻辑都在awk内部完成，没有外部命令调用的开销
• 纯C实现的核心逻辑，处理万行数据基本是瞬间完成

你原来的while read循环在bash里效率低主要有两个原因：

1. while read逐行读取本身就有一定的IO开销，bash的循环迭代速度远不如awk
2. 如果循环里还有其他外部命令调用（比如你代码里的wc、awk），每次调用都会启动新的子进程，累积起来会非常耗时

内容的提问来源于stack exchange，提问作者Tao Huang