WPEngine上WordPress站点在线与本地robots.txt不一致问题排查

可能的差异原因 #

1. WPEngine服务器级/CDN缓存未清除：你清除的是WordPress内部缓存，但WPEngine自带服务器端缓存和CDN缓存，旧的robots.txt内容可能仍被存储在这些层级，未被刷新。
2. WPEngine环境类型限制：如果你的域名绑定的是WPEngine的staging（测试）环境，该环境默认会强制设置User-agent: * Disallow: /的robots规则，防止测试站点被爬虫抓取，无论本地文件如何设置都会被覆盖。
3. Yoast SEO虚拟robots.txt冲突：Yoast SEO支持生成虚拟robots.txt，若你开启了该功能，可能虚拟内容未同步，或者WPEngine的配置优先加载了虚拟内容而非物理文件。
4. WPEngine全局robots配置覆盖：部分WPEngine套餐允许在控制面板直接设置robots规则，若存在全局配置，会覆盖根目录的物理robots.txt文件。

解决步骤 #

1. 清除WPEngine服务器级缓存 #

登录WPEngine控制面板，找到对应站点的缓存管理选项，执行以下操作：

• 清除「页面缓存」
• 清除「CDN缓存」（若启用了CDN）
  这一步是关键，WordPress后台的缓存清理无法触及WPEngine的服务器层级缓存。

2. 确认站点环境类型 #

在WPEngine控制面板中，检查当前域名绑定的是生产环境还是staging环境：

• 若绑定的是staging环境，将域名切换到生产环境，staging环境的默认robots限制会自动解除。
• 若确实需要在staging环境使用自定义robots，可以联系WPEngine支持修改staging环境的默认设置。

3. 调整Yoast SEO的robots设置 #

进入WordPress后台的Yoast SEO > 工具 > 文件编辑器：

• 查看「robots.txt」选项，若开启了「生成虚拟robots.txt」，检查其内容是否正确；若内容错误，直接修改保存。
• 若你希望使用根目录的物理robots.txt文件，关闭「生成虚拟robots.txt」选项，保存设置后再次清除缓存。

4. 检查WPEngine全局robots配置 #

登录WPEngine控制面板，查找站点的SEO设置或Robots规则选项：

• 若存在自定义全局robots规则，删除或修改为你需要的内容，确保与本地robots.txt一致。

5. 验证.htaccess文件规则 #

通过SFTP查看根目录的.htaccess文件，检查是否存在重写robots.txt请求的规则（比如将/robots.txt指向其他文件）。若有此类规则，删除或调整后保存，并清除服务器缓存。

内容的提问来源于stack exchange，提问作者Suchi