AWK处理超大型CSV时如何输出非管道实时进度信息？

我有一个含2.77亿行的超大型CSV文件，需要验证哪些字段可作为主键。原本计划执行以下命令：

awk 'BEGIN{FS=OFS=";"} {print $2,$3,$4,$5}' namefile.csv | sort | uniq | wc -l

将该命令结果与wc -l namefile.csv的行数对比，若一致则代表所选字段是唯一主键。但该命令执行耗时极久，我希望每处理500万行就向屏幕输出进度信息（且不进入管道）。曾尝试写入日志文件的方式：

awk 'BEGIN{FS=OFS=";"} {print $2,$3,$4,$5; {if (NR % 5000000 == 0){print strftime("%Y-%m-%d %H:%M:%S"),NR/1000000 > "log.txt"}}}' namefile.csv | sort | uniq | wc -l

但这种方式只能在执行结束后查看日志，想实现实时查看进度，请问有什么可行方案？

方法一：利用标准错误输出（stderr）打印进度 #

awk默认print输出到标准输出（stdout），管道只会读取stdout，因此可以把进度信息输出到标准错误（stderr），直接在终端实时显示，不会干扰管道数据。修改后的命令：

awk 'BEGIN{FS=OFS=";"} {print $2,$3,$4,$5; if (NR % 5000000 == 0) {print strftime("%Y-%m-%d %H:%M:%S"), "已处理", NR/1000000, "万行" | "cat >&2"}}' namefile.csv | sort | uniq | wc -l

说明 #

• >&2表示将内容重定向到stderr，这部分信息不会进入后续管道，直接打印到屏幕。
• 用cat >&2是为了兼容不同awk版本的stderr输出逻辑，确保进度信息正常显示。

方法二：直接写入/dev/stderr（GNU awk适用） #

如果你的环境用的是GNU awk（gawk），可以直接指定输出到/dev/stderr设备文件，写法更简洁：

gawk 'BEGIN{FS=OFS=";"} {print $2,$3,$4,$5; if (NR % 5000000 == 0) {print strftime("%Y-%m-%d %H:%M:%S"), "已处理", NR/1000000, "万行" > "/dev/stderr"}}' namefile.csv | sort | uniq | wc -l

说明 #

GNU awk支持直接写入/dev/stderr，省去了管道到cat的步骤，效率略有提升。

方法三：显示进度百分比 #

先获取文件总行数，再在awk中计算并显示完成比例，进度更直观：

total_lines=$(wc -l < namefile.csv)
awk -v total="$total_lines" 'BEGIN{FS=OFS=";"} {print $2,$3,$4,$5; if (NR % 5000000 == 0) {progress = sprintf("%.1f%%", (NR/total)*100); print strftime("%Y-%m-%d %H:%M:%S"), "已处理", NR/1000000, "万行 (" progress ")" | "cat >&2"}}' namefile.csv | sort | uniq | wc -l

说明 #

• wc -l < namefile.csv快速获取总行数，避免重复读取整个文件。
• 用-v参数把总行数传递给awk，实时计算并显示进度百分比。

额外优化建议 #

• 若系统内存充足，给sort加--buffer-size参数，指定更大的内存缓冲区，减少磁盘IO，加快排序速度，例如sort --buffer-size=10G。
• 可以直接用awk统计重复项，省去后续的sort和uniq，大幅提升效率：

awk 'BEGIN{FS=OFS=";"} {key=$2 OFS $3 OFS $4 OFS $5; if (seen[key]++) {duplicates++} if (NR % 5000000 == 0) {print strftime("%Y-%m-%d %H:%M:%S"), "已处理", NR/1000000, "万行", "已发现重复项", duplicates | "cat >&2"}} END{print NR - duplicates}' namefile.csv

这个命令在awk内部直接统计重复主键，最后输出唯一键的数量，无需管道处理，对超大型文件更高效。

内容的提问来源于stack exchange，提问作者ZenoKosini