WordPress生产环境robots缺失index follow规则问题排查

常见触发原因 #

• 全链路缓存未刷新：生产环境通常配置了多层缓存（WordPress缓存插件、服务器OPcache/页面缓存、CDN边缘缓存），代码修改后旧缓存未失效，导致新逻辑不生效；本地开发环境无多层缓存，因此代码修改后即时可见效果。
• 配置优先级冲突：wp-config.php中若定义了define( 'blog_public', 0 );常量，其优先级高于后台「设置→阅读」的搜索引擎可见性配置，会强制拦截index、follow规则输出。
• 插件逻辑覆盖：SEO类、安全防护类插件通常会以更高优先级挂载wp_robots钩子，重写整个robots规则数组，默认优先级10的自定义代码会被覆盖。
• 代码未实际加载：线上启用的主题/子主题与本地修改代码的主题不一致、functions.php文件上传失败/路径错误，会导致自定义代码根本没有执行。

分步解决流程 #

1. 校验全局配置优先级
   打开站点根目录的wp-config.php文件，搜索blog_public配置项，若存在且值为0，直接修改为define( 'blog_public', 1 );，该配置是WordPress判断是否允许搜索引擎索引的最高优先级规则。
2. 清空全链路缓存
   • 清空站点已安装缓存插件的整页缓存、对象缓存
   • 重启PHP服务清空OPcache缓存（PHP默认开启OPcache时，代码修改后若不刷新缓存，最长会滞留旧代码数小时）
   • 若站点接入了CDN/云WAF，在对应控制台刷新整站缓存，调试阶段可临时开启开发者模式绕过缓存
3. 提升自定义代码优先级避免覆盖
   替换原有自定义robots代码，将钩子执行优先级调到最高，同时提前清理可能被其他插件注入的noindex、nofollow规则，代码如下：

   function wp_add_robots_custom( $robots ) {
       // 移除冲突的禁止索引/爬行规则
       unset( $robots['noindex'] );
       unset( $robots['nofollow'] );
       // 追加目标规则
       $robots['index'] = true;
       $robots['follow'] = true;
       
       return $robots;
   }
   // 设置最高优先级（999），确保晚于其他插件的逻辑执行
   add_filter( 'wp_robots', 'wp_add_robots_custom', 999 );
   

4. 校验代码加载有效性
   若上述操作后仍不生效，可在你添加代码的位置临时插入测试代码var_dump('custom robots code loaded');exit;，访问站点首页：
   • 若看不到测试输出，说明你修改的functions.php不属于当前线上启用的主题，或文件未成功上传到服务器，核对当前启用的主题路径后重新上传代码即可
   • 若能看到测试输出，下一步排查插件冲突
5. 排查插件冲突
   临时禁用所有SEO、安全防护类插件，刷新缓存后重新查看页面robots规则，若规则恢复正常，逐个启用插件定位冲突项，在对应插件的设置面板中关闭「自动生成robots meta规则」类的功能即可。

补充说明：WordPress 5.7及以上版本，只要blog_public配置为1，核心默认就会输出index、follow规则，仅返回max-image-preview:large的场景，90%以上由缓存未刷新或blog_public常量配置错误导致。

问题截图

内容的提问来源于stack exchange，提问作者Jun