LinkedIn抓取WordPress单篇文章og缩略图异常问题咨询

问题背景 #

• 站点基于WordPress搭建，通过Yoast SEO插件生成Open Graph元标签，用于适配LinkedIn爬虫抓取文章特色图作为分享缩略图
• 历史所有文章均可正常识别og:image属性指定的特色图，仅最新发布的单篇文章出现异常：LinkedIn未读取指定特色图，反而抓取页面正文靠后的其他图片作为缩略图
• 已使用LinkedIn Post Inspector工具刷新异常文章的平台侧缓存，问题未解决

对比样本信息 #

• 缩略图显示正常的文章：https://www.midstory.org/how-climate-change-is-shaping-michigans-coastal-management/
• 缩略图显示异常的文章：https://www.midstory.org/cow-culture-and-the-elsie-dairy-festival/

正常页面og元标签代码 #

<meta property="og:image" content="https://www.midstory.org/wp-content/uploads/2022/06/cover-2.jpeg">
<meta property="og:image:width" content="1200">
<meta property="og:image:height" content="628">
<meta property="og:image:type" content="image/jpeg">

异常页面og元标签代码 #

<meta property="og:image" content="https://www.midstory.org/wp-content/uploads/2022/06/Cow-Festival-Graphic_3-w-spray-paint.jpg">
<meta property="og:image:width" content="1200">
<meta property="og:image:height" content="628">
<meta property="og:image:type" content="image/jpeg">

核心诱因与排查解决方向 #

• 排查og标签重复与位置错误
  LinkedIn爬虫对<head>区域内的元标签解析优先级最高，首先查看页面完整源代码，全局搜索og:image关键词：一是确认是否存在重复声明，比如主题、其他SEO/社交分享插件额外输出了og标签，将正文图片设置为了og:image，覆盖了Yoast的配置；二是确认Yoast生成的目标og标签是否位于<head>标签内靠前位置，若标签被错误插入到<body>区域，会被爬虫判定为低优先级配置，转而抓取正文图片。
• 排查目标图片的可访问性与合规性
  不要仅核对尺寸参数符合要求，逐项验证以下内容：
  1. 模拟LinkedIn爬虫UA请求目标图片地址，确认未被WordPress安全插件、CDN防火墙、WAF规则拦截（不少安全规则会拦截非浏览器UA的静态资源请求，返回403/401错误，导致爬虫无法读取指定图片，只能退而求其次抓取正文可访问的图片）
  2. 确认图片文件未损坏，文件大小不超过LinkedIn要求的8MB上限
  3. 可尝试将目标图片重命名为无特殊符号、无空格的纯英文文件名，重新上传后设置为特色图，排除文件名特殊字符导致的解析异常
• 排查多套元数据的配置冲突
  若页面同时输出Schema结构化数据、Twitter Cards等其他元配置，且其中的image字段与og:image指向不一致，LinkedIn爬虫在部分版本的解析逻辑中会优先读取结构化数据内的图片配置。需逐一核对所有元数据中的图片字段，统一指向目标特色图。
• 排查多层缓存未更新问题
  除了LinkedIn平台侧的缓存，还需确认站点侧的页面缓存、CDN缓存、对象缓存是否已更新到最新版本，避免爬虫抓取时拿到旧版错误页面。验证时可给异常页面URL添加随机查询参数（例如?v=fixlinkedin2024），再放到Post Inspector中重新抓取，强制绕过所有缓存层读取最新页面代码，确认标签是否生效。
• 处理LinkedIn爬虫偶发解析bug
  若以上排查均未发现问题，属于LinkedIn侧爬虫的偶发解析故障。可重新编辑文章，重新选择设置一次特色图并保存更新，之后间隔数小时用Post Inspector重复抓取2-3次，一般1-3天待爬虫全量重新索引页面后，缩略图就会恢复正常。

内容的提问来源于stack exchange，提问作者Jason O