如何通过robots.txt禁止含特定片段的动态URL？

首先要明确：URL中的#属于锚点（fragment），浏览器和爬虫向服务器发送请求时不会携带锚点部分。也就是说，当爬虫访问https://example.com/blogs/news/nameofthepost#How-Much-do-they-cost时，服务器实际收到的请求路径是/blogs/news/nameofthepost，完全没有#How-Much-do-they-cost这部分。这就是你写的Disallow: /*#规则无效的核心原因——robots.txt仅作用于服务器接收的请求路径，锚点根本到不了服务器层面。

针对你的情况，提供几个可行的解决办法：

• 检查并修复canonical标签的有效性
  虽然你已经设置了canonical标签，但可能存在格式问题导致搜索引擎未正确识别：

  • 确保canonical标签使用绝对路径（例如<link rel="canonical" href="https://example.com/blogs/news/nameofthepost">），避免使用相对路径；
  • 确认规范URL本身未被robots.txt禁止索引，且能正常被爬虫抓取；
  • 排查页面是否存在多个canonical标签，或与noindex等其他索引控制标签冲突。

• 通过搜索引擎站长工具提交移除请求
  如果canonical标签设置正确但带锚点的URL仍被索引，直接使用对应搜索引擎的站长工具（如Google Search Console）提交URL移除请求，将这些带锚点的URL单独或批量提交，请求搜索引擎从索引中删除它们。

• 关键提醒：不要用robots.txt针对锚点写规则
  如前所述，锚点不会被发送到服务器，任何包含#的robots.txt规则都无法生效，无需在这方面浪费精力。

内容的提问来源于stack exchange，提问作者user1683449