ByetHost反爬模块致Bing无法索引WordPress站点求助

问题根源 #

你的情况确实是ByetHost默认启用的testcookie-nginx-module反爬机制导致的——这个模块会要求访客加载JS并设置Cookie才能访问，但Bing爬虫不会执行JS，直接被拦截，就出现了「需启用JavaScript」的提示，自然没法正常索引。之前改核心PHP文件加exit()没用，还容易搞崩站点，完全没必要。

靠谱解决步骤 #

1. 先恢复修改过的核心文件 #

把你改的wp-blog-header.php、http.php、sitemaps.php这些核心文件全部恢复原样，核心文件本来就不能随便改，更新WordPress会覆盖修改内容，还容易引发站点故障，先把这步落实。

2. 用.htrules绕过爬虫检测 #

ByetHost支持用.htrules文件配置规则，直接让搜索引擎爬虫跳过反爬验证：
在站点根目录新建或编辑.htrules文件，粘贴下面的规则：

# 让搜索引擎爬虫绕过testcookie检测
SetEnvIfNoCase User-Agent "bingbot" NO_TESTCOOKIE=1
SetEnvIfNoCase User-Agent "Googlebot" NO_TESTCOOKIE=1
SetEnvIfNoCase User-Agent "Slurp" NO_TESTCOOKIE=1
SetEnvIfNoCase User-Agent "DuckDuckBot" NO_TESTCOOKIE=1

RewriteEngine On
RewriteCond %{ENV:NO_TESTCOOKIE} 1
RewriteRule ^ - [L]

这个规则会识别主流爬虫的UA，直接放行，不会触发JS检测。

3. 搞定Sitemap的问题 #

• Google不接受Sitemap：先确认sitemap.xml能正常打开，要是之前改坏了sitemaps.php，恢复后还不行，就装个Yoast SEO或者Rank Math插件，用插件生成标准的Sitemap，再重新提交给Google Search Console。
• Bing收了Sitemap但不索引：先在Bing站长工具里用「URL检查」功能测几个页面，确认爬虫能正常拿到内容，没有JS拦截提示。没问题的话，手动提交几个核心页面触发抓取，再等几天让Bing逐步爬取全站。

4. 验证效果 #

用Bing站长工具的「模拟抓取」功能测试页面，看返回的是不是正常网页内容，要是没问题，就等爬虫重新爬取站点即可。另外可以看看ByetHost后台有没有其他安全设置，暂时关掉非必要的，避免干扰爬虫抓取。

内容的提问来源于stack exchange，提问作者Dav_Daddy