如何在robots.txt中批量禁止id_item参数1-500的URL？

当然可以！不用写几百行重复的规则，利用主流搜索引擎支持的robots.txt扩展语法，就能轻松搞定这个范围禁止的需求。

核心思路 #

我们可以把1-500的数字拆成几个逻辑区间，每个区间用一条规则覆盖，避免逐个列举数字。

具体规则示例 #

User-agent: *
# 匹配1-9的单个数字ID
Disallow: /show?id_item=[1-9]$
# 匹配10-99的两位数ID
Disallow: /show?id_item=[1-9][0-9]$
# 匹配100-199的三位数ID
Disallow: /show?id_item=1[0-9][0-9]$
# 匹配200-299的三位数ID
Disallow: /show?id_item=2[0-9][0-9]$
# 匹配300-399的三位数ID
Disallow: /show?id_item=3[0-9][0-9]$
# 匹配400-499的三位数ID
Disallow: /show?id_item=4[0-9][0-9]$
# 单独匹配500这个边界值
Disallow: /show?id_item=500$

规则细节解释 #

每条规则都精准对应一个数字区间，关键语法说明：

• [1-9]：匹配1到9之间的任意单个数字
• [0-9]：匹配0到9之间的任意单个数字
• $：表示URL的结尾，确保不会误匹配到更长的数字（比如id_item=1234这种超过500的情况）

兼容性与调整建议 #

这种范围匹配属于robots.txt的扩展语法，目前Google、Bing等主流搜索引擎都支持，但部分小众搜索引擎可能不兼容。如果你的网站主要面向主流引擎，这个方案完全可行。

如果URL后面还会附带其他参数（比如/show?id_item=123&page=2），可以去掉规则末尾的$，改成Disallow: /show?id_item=1[0-9][0-9]，不过要注意避免误匹配到包含该数字片段的其他参数值，需根据实际业务场景灵活调整。

内容的提问来源于stack exchange，提问作者maiky_forrester