如何修改Shell脚本从日志中提取仅POST请求的唯一URL？

要实现只提取POST类型请求的唯一URL，我们可以在原脚本基础上先过滤出POST请求的行，再精准提取对应的URL。结合你提供的日志格式，这里分享两种可靠的修改方式：

方法一：grep + sed（正则匹配更灵活） #

grep '"POST ' logfile | sed -E 's/.*"POST ([^ ]+) HTTP\/1\.1".*/\1/' | sort -u

步骤拆解： #

1. grep '"POST ' logfile：筛选所有包含"POST （带双引号和空格）的行，确保只匹配请求方法为POST的记录，避免误抓其他含"POST"字符串的内容。
2. sed -E 's/.*"POST ([^ ]+) HTTP\/1\.1".*/\1/'：用正则精准提取URL——匹配"POST 之后到 HTTP/1.1"之前的所有非空格字符，这就是我们需要的请求路径。
3. sort -u：对提取到的URL排序并去重，得到唯一URL列表。

方法二：awk（字段处理更稳定） #

如果你的日志格式固定（空格分隔的字段位置不变），用awk会更高效：

awk '$6 == "\"POST" {print $7}' logfile | sort -u

步骤拆解： #

1. awk '$6 == "\"POST" {print $7}'：按空格拆分日志后，第6个字段是"POST（带开头双引号），当这个字段匹配时，打印第7个字段——也就是POST请求对应的URL路径。
2. sort -u：同样完成排序去重的收尾操作。

补充说明 #

你的原脚本cut -f4 -d" " < logfile | sort -u在给定日志格式里其实无法正确提取URL（第4个字段是时间戳的开头[2019-04-06），上面两种方法既修正了这一问题，又新增了POST请求的过滤逻辑。

内容的提问来源于stack exchange，提问作者SpaceBucks