curl获取robots.txt后，正则匹配User-Agent:*失败的技术求助

你的问题根源在于获取到的robots.txt内容把多个条目挤在了同一行，导致你用整行匹配的grep命令找不到目标条目。咱们一步步拆解解决：

为什么原命令失效？ #

你拿到的robots.txt内容是这样的：

User-Agent: * Disallow: / User-Agent: Mediapartners-Google*

这里User-Agent: *和Disallow: /、User-Agent: Mediapartners-Google*都在同一行，而你原命令里的^（行首锚点）和$（行尾锚点）要求整行完全等于User-Agent: *，自然匹配不到结果。

可行的解决方法 #

方法1：直接匹配目标片段（最简单） #

去掉行首尾的锚点，只匹配User-Agent: *这个核心片段，不管行内其他内容：

curl -s "http://hostname/robots.txt" | grep -i "User\-Agent:\ \*"

-i参数确保不区分大小写（比如user-agent: *也能被匹配到），这个命令会直接输出包含目标片段的行。

方法2：拆分条目到单独行后再匹配 #

如果需要严格验证整行格式，可以先用sed把每个User-Agent:条目拆到单独一行，再用你原来的grep逻辑：

curl -s "http://hostname/robots.txt" | sed 's/User-Agent:/\nUser-Agent:/g' | grep -i "^User\-Agent:\ \*$"

sed命令会在每个User-Agent:前插入换行，拆分后每个User-Agent条目都会单独成行，这时^和$就能精准匹配到User-Agent: *的整行。

方法3：用awk精准提取并验证 #

如果你需要更精细化的格式校验，awk可以帮你定位到User-Agent:后面紧跟*的条目：

curl -s "http://hostname/robots.txt" | awk '{
    for(i=1;i<=NF;i++){
        if($i ~ /^[Uu][Ss][Ee][Rr]-[Aa][Gg][Ee][Nn][Tt]:$/ && $(i+1) == "*"){
            print "找到符合要求的条目：" $i " " $(i+1)
        }
    }
}'

这个命令会遍历每行的每个字段，当检测到字段是User-Agent:（不区分大小写）且下一个字段是*时，就输出该条目，同时完成格式验证。

内容的提问来源于stack exchange，提问作者catalin