Facebook Open Graph爬虫无法识别页面meta标签问题求助

• 优先调整服务器对Facebook爬虫的字节范围请求响应规则：Facebook爬虫默认会携带Range头请求部分内容，返回206属于官方认可的正常情况，但小页面仍返回截断内容、且截断位置早于og meta标签结束位置，就会出现抓取内容空白、标签无法识别的问题。你可以针对性给UA为facebookexternalhit/*的请求关闭range响应，强制返回完整200状态码的页面内容，先验证简化测试页是否恢复正常识别。
• 排查CDN/缓存层的爬虫专属缓存配置：首次抓取正常、后续相同未修改页面抓取空白是典型的脏缓存问题，多数站点会给爬虫请求单独分配缓存分片，若首次缓存的是截断后的不完整内容，后续所有爬虫请求都会命中该异常缓存。可以先临时绕过爬虫UA的缓存规则，清空所有历史爬虫缓存后再复测。
• 对比正常页与异常页的响应差异：可正常抓取的图书产品页大概率返回的206内容长度足够覆盖完整的head区域og标签，你可以用curl模拟Facebook爬虫UA分别请求两类页面，对比响应头、返回内容长度的差异，快速定位分段传输的配置位置。
• 调整og标签的放置顺序：把所有og相关的meta标签放到<head>区域的最前位，优先于任何样式、脚本、其他meta标签加载，即使服务器返回206，只要截断位置在og标签之后，也能保证爬虫正常读取到相关配置。

内容的提问来源于stack exchange，提问作者ScottM