Unix环境下提取文件指定列唯一值并按序排列的AWK实现求助

需求回顾 #

读取Unix系统中的目标文件，生成新文件，包含原文件指定列的所有唯一值，并按字母顺序排列。以你提供的示例数据为例，需要提取第4列（Var3）的唯一值，最终输出排序后的结果。

你的AWK代码问题分析 #

你写的代码存在几个关键问题：

• 没必要用cat命令配合getline读取文件，AWK本身可以直接接收文件名作为参数
• $Var4中的Var4未定义，应该直接使用列号（比如示例中的第4列是$4）
• 数组使用逻辑错误，没有正确实现去重
• 缺少遍历输出和排序的逻辑

解决方案 #

方案1：AWK + Sort（简洁高效，推荐）

这是Unix环境下最常用的组合，利用AWK提取列，Sort完成去重和排序：

awk 'NR>2 {print $4}' /path/to/your/file | sort -u > Output.txt

参数解释：

• NR>2：跳过前两行（示例数据的表头和分隔线），如果你的文件没有表头分隔线，改成NR>1跳过第一行表头即可
• print $4：输出第4列，需要提取其他列时，把4换成对应的列号
• sort -u：对提取的内容排序，同时自动去重（-u表示只保留唯一值）
• > Output.txt：将结果写入目标文件

方案2：纯AWK实现（无需额外调用Sort）

如果想只用AWK完成所有操作，可以借助AWK的数组和管道调用Sort：

awk 'NR>2 {unique_vals[$4]++} END {for (val in unique_vals) print val | "sort"}' /path/to/your/file > Output.txt

逻辑说明：

• unique_vals[$4]++：用数组的键存储列值，自动实现去重（重复值会覆盖同一个键）
• END块：所有行处理完成后执行
• for (val in unique_vals) print val | "sort"：遍历数组中的唯一值，通过管道传给Sort命令排序后输出

内容的提问来源于stack exchange，提问作者user20330606