如何在Shell中提取<a>标签的href属性值与对应链接文本？

问题解答 #

1. 关于sed跨行能力的疑问 #

sed默认是单行处理模式，仅将当前行读入模式空间做匹配替换，但可以通过N/H等命令将多行内容加载到模式空间或保持空间实现跨行处理。不过用正则处理本身结构不固定的HTML标签（属性顺序随机、换行位置不确定、可能存在嵌套）非常容易出现匹配错误，容错率极低，不推荐用sed实现该需求。

2. awk能否实现需求 #

可以实现，但需要手动编写标签开始/结束匹配逻辑、属性提取逻辑、多行文本拼接去空白逻辑，代码复杂度较高，同样存在正则处理HTML的适配问题，不是最优选择。

3. 最优实现方案（基于你已经在使用的pup工具） #

直接利用pup的结构化解析能力结合jq做字段提取，完全不需要手动处理换行、属性位置问题，适配所有你给出的a标签形式：

# 单文件处理示例，输入为HTML文件路径
pup 'a json{}' < 目标HTML文件.html | jq -r '.[] | [.text, .href] | .[0] |= gsub("^\\s+|\\s+$";"") | .[] | if test("^(http|mailto|ftp)") then "=> " + . else . end'

如果是已经通过pup提取出来的包含a标签的片段，直接把片段内容通过管道传给上面的命令即可：

# 示例：你之前的pup提取逻辑输出a标签片段，后续接处理命令
[你之前的pup提取命令] | pup 'a json{}' | jq -r '.[] | [.text, .href] | .[0] |= gsub("^\\s+|\\s+$";"") | .[] | if test("^(http|mailto|ftp)") then "=> " + . else . end'

命令说明：

• pup 'a json{}'：将所有a标签解析为结构化JSON，每个标签对应一个包含text（锚文本）、href（链接属性）等字段的对象，自动处理跨行、属性顺序问题
• jq部分：
  • 提取每个a标签的text和href字段
  • 自动去除锚文本前后的多余换行、空白符
  • 先输出处理后的锚文本，再输出加了=> 前缀的href值，完全符合你的输出要求

其他可选工具 #

如果不想安装jq，也可以用html-xml-utils工具包中的hxextract和hxselect组合实现，不过适配性不如pup+jq的方案。

内容的提问来源于stack exchange，提问作者osz