Robots.txt中Disallow规则能否用星号作为product_id通配符？

1. 带星号的规则是否合法？ #

原始的Robots Exclusion Protocol标准里不支持通配符*，但目前Google、Bing等主流搜索引擎都扩展支持了通配符语法。所以Disallow: /*?action=addwishlist&product_id=*这个规则，在主流搜索引擎中是合法且有效的，星号会被识别为匹配任意product_id值，能一次性禁止所有触发addwishlist操作的相关URL，不用逐个商品编写规则。

2. 单条指定product_id的规则能否替代？ #

单独写Disallow: /*?action=addwishlist&product_id=1212是合法的，但它只能禁止product_id为1212的对应URL，其他商品的addwishlist URL不会被限制。如果你的需求是禁止所有这类URL，单条指定的规则完全达不到效果，没法替代带星号的规则。

3. 是否必须逐个商品编写规则？ #

完全不需要。只要目标爬虫（主流搜索引擎爬虫）支持通配符，用带星号的规则就能覆盖所有product_id的情况，逐个编写不仅繁琐，还容易遗漏商品ID。只有在需要兼容极少数不支持通配符的老旧爬虫时，才需要考虑逐个添加，但这种场景现在几乎不存在。

内容的提问来源于stack exchange，提问作者Jimil