Robots.txt配置Disallow: /?*是否会影响无参数的站点URL？

你的配置Disallow: /?*会影响主站URL（即www.tuppleapps.com/），原因如下：

• robots.txt采用前缀匹配规则，/?*会匹配所有以/?开头的路径。部分搜索引擎会将不带参数的主站URL（/）与带空查询串的/?视为等价，因此会误拦截主站的正常访问。

如果只想禁止带任意查询参数的URL，同时保留主站的可抓取权限，建议修改为：

Disallow: /*?*

这个规则会匹配根目录下所有路径后带有?及后续参数的URL，不会影响无参数的主站URL。

如果想更精准地拦截那些特定随机参数的URL，也可以针对性配置：

• Disallow: /?andsd*
• Disallow: /?itlq*
• Disallow: /?copz*
  不过这种方式仅对已知参数有效，若黑客生成的是完全随机的参数串，/*?*的通用性更强。

内容的提问来源于stack exchange，提问作者Suraj