robots.txt中用Disallow拦截目录时是否需要加尾部斜杠？

结论 #

如果你的目标是禁止爬虫抓取/acct目录下的所有内容（包含目录下的直属文件、所有层级子目录及子目录内的资源），应当使用Disallow: /acct/。

两种写法的实际匹配差异 #

尾部斜杠直接决定了规则的匹配边界，两者核心区别如下：

• 无尾部斜杠的Disallow: /acct属于字符串前缀匹配规则：所有路径以/acct开头的URL都会被拦截。除了/acct目录下的资源外，和该目录无关的路径比如/acctadmin、/acct_bill.html、/acct2024/等只要开头字符匹配，都会被误拦截，封禁范围远大于预期。
• 带尾部斜杠的Disallow: /acct/属于精准的目录匹配规则：只会匹配前缀为/acct/的URL，完全对应/acct目录内的所有资源，不会误杀其他同前缀但不属于该目录的路径。主流合规爬虫（包括Googlebot、Bingbot等）都会自动做目录路径的斜杠规范化处理，不带斜杠的目录入口/acct也会被这条规则命中，不会出现漏拦。

只有当你明确需要拦截所有以/acct开头的任意路径（不管是否属于该目录）时，才需要选择不带尾部斜杠的写法。针对单个目录封禁的常规场景，带尾部斜杠的写法是唯一稳妥无歧义的选择。

内容的提问来源于stack exchange，提问作者marcg