Facebook Debugger误判带参数URL与无参数URL一致，获取错误og值求助

我之前排查过类似的Facebook Debugger识别问题，你遇到的这种把带参数URL判定为和主页面同一页面的情况，大概率是这几个原因导致的：

可能的原因及排查方向 #

• 缓存与URL规范化问题：Facebook的爬虫会对URL做规范化处理，而且它的缓存机制有时候会很顽固——如果之前爬过不带参数的http://sub.domain.com，后续哪怕你更新了带参数页面的内容，Debugger可能还是会读取旧缓存。另外，如果你服务器返回的Cache-Control头设置了过长的缓存时间，也会导致FB爬虫拿不到最新内容。记得点击Debugger里的「Scrape Again」按钮强制刷新缓存，多试几次。
• 服务器重定向/URL重写错误：检查你的服务器（Nginx、Apache之类）配置，有没有不小心把带?s=123这类参数的请求重定向到不带参数的主页面？比如有些rewrite规则写得太宽泛，直接丢弃了查询参数。你可以用命令行测试：curl -v http://sub.domain.com/?s=123，看返回的响应里有没有301/302重定向到不带参数的地址，或者返回的HTML内容是不是和主页面完全一致。
• User-Agent相关的内容返回异常：很多网站会根据访问者的User-Agent返回不同内容，FB爬虫的UA是facebookexternalhit/1.1。你可以模拟这个UA请求页面：curl -A "facebookexternalhit/1.1" http://sub.domain.com/?s=123，然后查看返回的HTML里的og标签是不是正确的。有可能你的代码在处理爬虫UA时出了问题，返回了默认的主页面元数据，而不是对应s=123的文章内容。
• Canonical标签设置错误：如果你的带参数页面里设置了<link rel="canonical" href="http://sub.domain.com">，那Facebook会严格遵循这个标签，认为带参数的URL和主页面是同一个页面，自然会读取主页面的og值。检查一下页面里的canonical标签是不是指向了正确的带参数URL。

快速解决步骤 #

1. 打开Facebook Debugger，输入带参数的URL后，连续点击几次「Scrape Again」按钮，强制刷新缓存。
2. 用curl模拟FB爬虫UA请求页面，确认返回的og元数据是否符合预期。
3. 检查服务器配置，确保带参数的URL不会被重定向或重写为不带参数的地址。
4. 确认页面的canonical标签指向当前带参数的URL，而不是主域名。

内容的提问来源于stack exchange，提问作者errerr