求助：LinkedIn分享招聘广告仅抓取首页标题与图片问题排查

• 检查Open Graph（OG）元标签
  LinkedIn对OG标签依赖度很高，而Facebook容错机制更宽松。需确认目标页面<head>中是否包含正确的og:title、og:image、og:url、og:description标签，重点核对og:url是否与分享的广告URL完全一致，有没有被硬编码成网站首页地址。可通过浏览器开发者工具查看页面源码，或用LinkedIn官方的链接调试工具检测抓取结果和错误提示。

• 排查页面渲染模式
  如果广告页面是单页应用（SPA）或通过JavaScript动态渲染内容，LinkedIn爬虫可能不会等待JS加载完成，只会抓取初始的首页模板内容。这种情况需要为爬虫提供静态渲染页面，比如采用服务端渲染（SSR）、预渲染方案，或者直接给爬虫返回包含正确OG标签的静态HTML。

• 验证HTTP响应状态
  确认广告页面返回的HTTP状态码为200，不存在301/302跳转至首页的情况。可用命令行工具测试：

  curl -I https://www.jobbet.se/annonser/alma-assistans/kund--och-personalansvarig-inom-personlig-ass/clvurlb7000w0vm64t3ut1vux
  

  查看输出中的状态码和Location响应头，若存在跳转需调整服务器配置。

• 检查缓存与CDN规则
  若网站使用了CDN或缓存服务，可能存在缓存错误——比如把广告页面的OG标签缓存成了首页内容。需要清除该广告URL对应的缓存，或检查缓存规则是否正确区分了首页与详情页内容。

• 确认OG标签加载优先级
  确保OG标签放在<head>标签的靠前位置，避免被后续加载的JavaScript动态修改。部分动态脚本可能会覆盖meta标签内容，导致爬虫抓取到未更新的首页标签信息。

内容的提问来源于stack exchange，提问作者Josef Henryson