如何通过robots.txt禁止嵌套文件夹的爬虫抓取？

你不需要为/_hcms/的子文件夹添加单独的禁止规则，现有规则Disallow: /_hcms/已经能覆盖该目录内所有内容，包括嵌套的/_hcms/a/、/_hcms/b/等子文件夹。

关于两种写法的区别：

• Disallow: /_hcms/：精准禁止所有以/_hcms/开头的路径，该目录下的所有文件、子文件夹及其中的内容都会被搜索引擎拒绝抓取，完全匹配你的需求。
• Disallow: /_hcms：这种写法禁止范围更宽泛，会匹配所有包含/_hcms的路径，比如/_hcms本身、/_hcms.html、/_hcmsxyz这类无关路径也会被禁止，不符合你的目标，不建议使用。

内容的提问来源于stack exchange，提问作者Evgeniy