如何阻止HTTP URL被索引？现有.htaccess配置无效，仅需HTTPS被谷歌爬虫收录

你的原有方案可能因为服务器变量判断不准确（比如部分环境下SERVER_PORT无法正确识别HTTP请求）导致失效，以下是更可靠的配置方案：

1. .htaccess 配置 #

替换你原有的规则，使用%{HTTPS}变量区分HTTP/HTTPS请求，确保不同协议返回对应的robots文件：

RewriteEngine On

# HTTP请求返回禁止所有爬虫的robots文件
RewriteCond %{HTTPS} off
RewriteRule ^robots.txt$ robots-deny-all.txt [L]

# HTTPS请求返回仅允许Googlebot的robots文件
RewriteCond %{HTTPS} on
RewriteRule ^robots.txt$ robots-allow-google.txt [L]

2. 对应robots文件内容 #

• robots-deny-all.txt（保持你原有的内容即可）：

User-agent: *
Disallow: /

• robots-allow-google.txt（新建该文件，放在网站根目录）：

# 仅允许Googlebot抓取全站
User-agent: Googlebot
Allow: /

# 禁止其他所有爬虫访问
User-agent: *
Disallow: /

3. 验证与额外建议 #

• 确保两个robots文件和.htaccess在网站根目录，文件权限设置为644（保证服务器能正常读取）
• 用curl命令测试配置是否生效：
  • 测试HTTP：curl http://你的域名/robots.txt，应返回robots-deny-all.txt的内容
  • 测试HTTPS：curl https://你的域名/robots.txt，应返回robots-allow-google.txt的内容
• 在HTTPS页面的<head>中添加canonical标签，强化搜索引擎对HTTPS版本的识别：

<link rel="canonical" href="https://你的域名/对应页面路径">

内容的提问来源于stack exchange，提问作者FARIS ISMAIL