WordPress RSS聚合器无法抓取合法RSS源全文的问题排查

可能的原因 #

1. RSS结构细节不符合WordPress解析预期 #

W3C验证仅确保RSS语法合规，但WordPress对RSS字段有特定的解析逻辑：

• 若RSS条目仅通过<description>提供摘要，未包含<content:encoded>存储全文，WordPress默认只会抓取摘要；
• 若<content:encoded>存在，但RSS根节点未正确声明content命名空间（xmlns:content="http://purl.org/rss/1.0/modules/content/"），WordPress会忽略该字段；
• 部分未转义的特殊字符（如未转义的&）虽通过W3C验证，但可能导致WordPress解析器异常。

2. 「强制获取全文」触发的抓取异常 #

开启该选项后，WordPress会通过RSS条目中的<link>抓取原网页内容，此时可能遇到：

• 原网页的反爬机制拦截了WordPress的请求（如UA限制、Cloudflare验证）；
• <link>指向的URL不可访问、存在跳转循环或返回非HTML内容；
• 原网页结构过于复杂，WordPress内置的内容提取器无法正确解析。

3. WordPress RSS处理的隐性限制 #

• WordPress核心或第三方RSS插件对单条内容大小、条目数量有隐性限制，超出限制可能导致解析失败；
• 部分RSS聚合插件有额外校验规则，比WordPress核心的解析逻辑更严格，合法RSS也可能被拦截。

排查与解决步骤 #

• 检查RSS字段与命名空间：
  打开你的RSS源，确认每个<item>下存在<content:encoded>且内容为全文；同时在<rss>根节点确认已声明content命名空间。

• 验证原网页可抓取性：
  手动访问<link>指向的URL，确认页面可正常打开；用curl模拟WordPress请求头（如User-Agent: WordPress/6.4; 你的站点域名）请求该URL，检查是否能获取内容。若被拦截，需调整原站反爬规则，添加WordPress的UA白名单。

• 检查RSS内容转义情况：
  搜索RSS源中的特殊字符（如&、<、>），确保已转义为对应的HTML实体（&、<、>）。

• 开启WordPress调试模式：
  在wp-config.php中添加define('WP_DEBUG', true);和define('WP_DEBUG_LOG', true);，触发报错后查看wp-content/debug.log中的具体错误信息，定位问题根源。

内容的提问来源于stack exchange，提问作者jC61