如何阻止Google与Bing爬虫抓取特定参数化URL？

1. 配置robots.txt规则 #

直接在网站根目录的robots.txt文件中添加针对目标爬虫的禁止规则，精准拦截含特定恶意参数的URL：

User-agent: Googlebot
Disallow: /search?q=*ggseo.com*

User-agent: Bingbot
Disallow: /search?q=*ggseo.com*

# 也可对所有爬虫生效
User-agent: *
Disallow: /search?q=*ggseo.com*

该规则会让爬虫跳过所有/search路径下、q参数包含ggseo.com的URL。

2. 动态添加meta robots标签 #

如果这类恶意URL是动态生成的，可通过后端逻辑检测q参数内容：当检测到参数中包含ggseo.com时，在页面头部输出禁止索引的meta标签：

<meta name="robots" content="noindex, nofollow">

这会直接告诉爬虫不要索引该页面，也不要追踪页面内的链接。

3. 移除已收录的恶意URL #

如果这类URL已经被搜索引擎收录：

• 在Google Search Console中提交URL移除请求，将恶意URL从搜索结果中删除；
• 在Bing Webmaster Tools中执行类似的移除操作。

4. 处理外部恶意外链 #

• 借助外链分析工具定位所有指向这类恶意URL的外部站点，尝试联系站长移除违规链接；
• 若恶意外链数量过多，可在Google Search Console提交拒绝链接，让搜索引擎忽略这些外链的权重影响。

内容的提问来源于stack exchange，提问作者Ashiq Dey