WordPress站点文章页仅对SEO分析工具返回间歇性406错误

问题现象 #

• WordPress文章页通过浏览器访问完全正常，但SEMrush、Ahrefs、GTmetrix等SEO/站点分析工具请求时，间歇性返回**HTTP 406「Not Acceptable」**错误

核心怀疑 #

服务器Web应用防火墙（WAF，大概率是Mod_Security）将这些工具的自动化请求误判为可疑流量，触发误报拦截

误报原因 #

WAF会基于以下特征拦截非人类流量：

• 独特的User-Agent字符串
• 激进的请求频率/模式
• 与标准浏览器不同的HTTP头部组合

已尝试排查操作 #

• 停用所有WordPress插件并切换至默认主题（如Twenty Twenty-Four），问题仍存在
• 确认robots.txt为标准配置，未造成拦截
• 清除WordPress及服务器端所有缓存
• 临时通过.htaccess禁用Mod_Security验证（因安全原因立即恢复启用）
• 无权限直接查看详细Mod_Security日志

需求 #

1. 诊断：明确触发406错误的具体WAF规则或HTTP头部特征
2. 解决：提供安全的合法分析工具白名单方案（优先用.htaccess实现，或指导联系主机商）

诊断步骤 #

1. 模拟请求抓包对比 #

用curl命令分别模拟SEO工具和浏览器的请求，对比头部差异：

# 模拟SEMrush请求（替换为目标文章URL）
curl -A "SEMrushBot/7.0; +http://www.semrush.com/bot.html" -I https://your-site.com/post-url/

# 模拟浏览器请求
curl -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" -I https://your-site.com/post-url/

重点对比Accept、Accept-Encoding等头部字段，这些是触发WAF规则的常见关键点。

2. 联系主机商获取拦截日志 #

由于无直接访问Mod_Security日志的权限，向主机提供商提供以下信息：

• 出现406错误的具体URL
• 触发错误的工具名称
• 请求发生的大致时间
  要求获取对应的WAF拦截日志，明确触发拦截的规则ID。

解决方法 #

方法1：.htaccess白名单User-Agent #

在WordPress根目录的.htaccess文件中添加规则，放行常见SEO工具的User-Agent：

<IfModule mod_security.c>
    # 白名单SEMrushBot
    SecRule REQUEST_HEADERS:User-Agent "@contains SEMrushBot" "id:1000,phase:1,nolog,allow,ctl:ruleEngine=Off"
    # 白名单AhrefsBot
    SecRule REQUEST_HEADERS:User-Agent "@contains AhrefsBot" "id:1001,phase:1,nolog,allow,ctl:ruleEngine=Off"
    # 白名单GTmetrix
    SecRule REQUEST_HEADERS:User-Agent "@contains GTmetrix" "id:1002,phase:1,nolog,allow,ctl:ruleEngine=Off"
    # 可按需添加其他搜索引擎/分析工具的User-Agent
</IfModule>

注意：修改前先备份.htaccess文件，避免语法错误导致站点无法访问。

方法2：.htaccess白名单工具IP段 #

若User-Agent白名单无效，可通过工具官方公布的IP段配置白名单。示例：

<IfModule mod_security.c>
    # 白名单SEMrush IP段（需替换为官方公布的实际IP段）
    SecRule REMOTE_ADDR "@ipMatch 199.59.148.0/22" "id:1003,phase:1,nolog,allow,ctl:ruleEngine=Off"
    # 按需添加其他工具IP段
</IfModule>

方法3：豁免特定WAF规则 #

如果从主机商处获取到触发拦截的规则ID，可单独豁免该规则：

<IfModule mod_security.c>
    # 替换为实际触发的规则ID
    SecRuleRemoveById 981172
</IfModule>

方法4：联系主机商配置 #

若以上方法无效，直接要求主机商将这些SEO工具加入服务器WAF的官方白名单，避免后续规则更新再次触发误报。

内容的提问来源于stack exchange，提问作者Zaheer Ahmad Safeer