如何用同一份.htaccess为生产/开发服务器指定对应robots文件？

嘿，我来帮你搞定这个robots文件自动切换的问题！其实核心就是通过匹配访问域名，把对/robots.txt的请求内部转发到对应环境的文件，下面是具体的实现方案：

完整配置片段 #

把这段规则放在你现有HTTPS重定向规则之前（确保优先处理robots的请求）：

<IfModule mod_rewrite.c>
RewriteEngine On

# 开发环境：匹配dev.domain.com，将robots.txt请求转发到robots-dev.txt
RewriteCond %{HTTP_HOST} ^dev\.domain\.com$ [NC]
RewriteRule ^robots\.txt$ /robots-dev.txt [L]

# 这里放你现有的非HTTPS及www域名重定向规则
# 比如你的原有重写规则：
# RewriteCond %{HTTPS} off [OR]
# RewriteCond %{HTTP_HOST} ^www\.domain\.com$ [NC]
# RewriteRule ^ https://domain.com%{REQUEST_URI} [L,R=301]
</IfModule>

关键规则解释 #

• RewriteCond %{HTTP_HOST} ^dev\.domain\.com$ [NC]：精确匹配开发环境的域名，[NC]表示不区分大小写，避免域名大小写差异导致匹配失败。
• RewriteRule ^robots\.txt$ /robots-dev.txt [L]：当用户请求/robots.txt时，内部重写到/robots-dev.txt，[L]标志表示这是最后一条匹配的规则，防止被后面的重定向规则干扰。
• 生产环境不需要额外配置，因为默认请求/robots.txt就会直接读取根目录下的对应文件。

为什么之前配置没生效？ #

大概率是这两个原因：

1. 规则顺序错了：如果把robots的规则放在HTTPS重定向之后，重定向会先触发外部跳转，导致robots的匹配规则没机会执行。
2. 缺少[L]标志：没有终止后续规则的执行，导致被后面的规则覆盖了当前的重写逻辑。

测试方法 #

配置完成后，直接访问：

• 生产环境：https://domain.com/robots.txt，应该返回你原有的robots.txt内容
• 开发环境：https://dev.domain.com/robots.txt，应该返回robots-dev.txt的内容

内容的提问来源于stack exchange，提问作者rfpdl