如何阻止同一网站部分子域名被搜索引擎收录？

针对你的需求（屏蔽aaa.xxx.com、bbb.xxx.com，保留www.xxx.com收录），可以通过以下几种方式实现：

1. 为目标子域名配置独立的robots.txt文件 #

每个子域名属于独立的站点资源，主域名的robots.txt不会作用于子域名。你需要在要屏蔽的子域名根目录下创建robots.txt文件，写入以下内容：

User-agent: *
Disallow: /

这个配置会禁止所有搜索引擎爬虫抓取该子域名下的所有内容，从而避免被收录。

而www.xxx.com的robots.txt保持正常配置即可，比如允许全量抓取：

User-agent: *
Allow: /

2. 在目标子域名页面添加meta robots标签 #

如果无法配置robots.txt（比如子域名托管平台限制），可以在aaa.xxx.com和bbb.xxx.com的所有页面的<head>标签中加入以下代码：

<meta name="robots" content="noindex, nofollow">

noindex指令告诉搜索引擎不要索引该页面，nofollow禁止爬虫追踪页面内的链接，双重保障避免收录。如果是动态站点，可以直接在页面模板中统一添加，无需逐个修改页面。

3. 利用搜索引擎站长工具移除已收录内容 #

如果目标子域名已经被搜索引擎收录，除了上述预防措施，还可以通过对应搜索引擎的站长工具提交URL移除请求，或者在工具中设置该子域名的抓取权限为封禁，加速搜索引擎移除已收录的内容。

内容的提问来源于stack exchange，提问作者ratikant rautra