Google爬虫跨域名索引同服务器站点页面，无.htaccess是否为诱因？

索引异常问题排查结论 #

vectorization-eu站点缺失.htaccess文件本身不会直接导致Google将pixsector-com的页面归入其域名下索引，出现该问题基本都是站点配置或内容标记错误导致的，常见诱因和排查修复方案如下：

常见诱因 #

• 两个站点共用IP且虚拟主机配置错误，pixsector-com的请求被默认路由到vectorization-eu的站点目录，Google抓取时拿到的是vectorization-eu的域名响应头
• pixsector-com配置了错误的301/302重定向规则，页面被跳转到vectorization-eu域名下，Google跟随重定向后会将内容归到目标域名索引
• 两个站点内容高度重复，Google判定vectorization-eu为内容权威来源，自动将重复内容合并到该域名索引下
• pixsector-com页面的canonical（权威页）标签错误填写为vectorization-eu的对应地址，主动告知Google页面归属后者
• HTTP转HTTPS的配置错误，pixsector-com的HTTP请求没有跳转到自身HTTPS地址，反而跳转到了vectorization-eu的HTTPS地址

排查修复步骤 #

1. 用curl命令测试pixsector-com页面的响应头，确认没有异常跳转：

curl -I https://你的pixsector-com测试页面地址

重点检查Location响应头的域名是否正确，状态码是否符合预期
2. 检查pixsector-com所有页面源码的<link rel="canonical">标签内容，确认地址前缀都是自身域名
3. 核对Google Search Console两个站点的配置，确认域名验证、站点地图提交都对应正确的域名
4. 建议给两个站点都补充.htaccess文件，分别配置自身HTTP转HTTPS的规则，避免路由串站，参考配置如下：

RewriteEngine On
# HTTP转HTTPS
RewriteCond %{HTTPS} off
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
# 禁止其他域名绑定当前站点目录
RewriteCond %{HTTP_HOST} !^你的当前站点域名$ [NC]
RewriteRule ^(.*)$ - [F,L]

5. 所有配置修正后，在Google Search Console提交pixsector-com的站点地图触发重爬，同时对错误归入vectorization-eu的URL提交移除申请

异常索引预览 #

内容的提问来源于stack exchange，提问作者vectorization