自主实现URL预览服务的预览图片抓取策略相关问题咨询

你漏掉了几个主流社交平台通用的预览图爬取规则，这也是500px这类站点能被正确抓取预览图的核心原因： #

• UA适配检测：绝大多数内容站点会针对社交平台的爬虫请求返回专门优化的元数据，你用普通爬虫UA请求500px这类站点时，返回的页面不会包含og:image标签，但是把请求UA替换为Facebook、Slack、LinkedIn的官方爬虫UA后，就能拿到站点专门适配好的完整og元数据，这是最常见的漏判原因。
• 遗漏其他高优先级元标签：除了og:image和rel="image_src"，还有twitter:image系列的Twitter卡片元标签，优先级远高于页面正文图片，很多站点即使不配置og标签也会配置Twitter卡片标签供社交平台抓取。
• 遗漏JSON-LD结构化数据：正规站点通常会在页面嵌入application/ld+json类型的结构化数据脚本，里面的image、logo字段也是预览图的高优先级来源，主流预览服务都会优先读取这部分内容。
• 正文图片筛选规则优化：原有的宽高、尺寸阈值规则还可以补充过滤策略：优先提取<article>、post-content这类正文容器内的图片，排除文件名或路径带logo、icon、advert、ad等关键词的广告、图标类资源，排除宽高比极端（小于1:4或大于4:1）的异常图片，排除base64格式的小占位图。

内容的提问来源于stack exchange，提问作者Michal