如何配置Robots.txt：屏蔽特定URL并设置爬取例外？

要实现阻止Google爬虫爬取所有以/view/a-开头（除/view/a-home外）的URL，你可以按以下内容配置Robots.txt：

User-agent: Googlebot
Allow: /view/a-home
Disallow: /view/a-

规则说明： #

• User-agent: Googlebot：指定该规则仅对Google爬虫生效
• Allow: /view/a-home：明确允许Google爬虫爬取这个例外URL
• Disallow: /view/a-：禁止Google爬虫爬取所有以/view/a-开头的路径（规则从上到下匹配，已被允许的/view/a-home不会被这条规则覆盖）

注意：Robots.txt中的路径匹配基于解码后的URL，无需处理%2D这类URL转义字符，直接用原始路径规则即可。

内容的提问来源于stack exchange，提问作者paulalexandru