facebookexternalhit请求出现查询字符串截断问题

我的服务器收到User-Agent为facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)的请求时，部分请求的查询字符串被截断。我通过将以下URL发布到Facebook私密群组重现了该问题——Facebook尝试生成缩略图但失败了：

原完整URL：

https://example.com/blob/?blobId=547c67b0-1400-4a95-b49f-c8c5054f03ae&expiry=&signature=e65L4ieYRPK0k9uVvSYgkvCYiWAAOZHTIJ1jzh2u%2BGziioeBjSHuR6hYfGZ0xR4PHdNrJmai6frpRirJCbRrUOlCmMS1VqHMWBQs8oAChB0S57VqOdz7GDlYgckOZ%2B1oGk6N65A%2Fr1%2BrTwpw%2F0kYuhEwtKgjPOiMisJXbCs%2Bphd82WHHrIwmIgd%2BT6M8J0iomUSBSkHif3IpQ5fHBj%2F%2ByyjNQmRNMlmodbjsLmL9uY2xk9cnpZManv5JgKc0D30DzSW5rkpxLUF%2B%2F8FnPayk%2Bbur1pPEZPJ7bBxPocjbDXW%2BHm43P%2FDtqZNR5Bbg%2FrHemf6Y6tuVQlTLfp3YzPXSIw%3D%3D

Facebook截断后的URL：

https://example.com/blob/?blobId=547c67b0-1400-4a95-b49f-c8c5054f03ae&expiry&signature=e65L4ieYRPK0k9uVvSYgkvCYiWAAOZHTIJ1jzh2u%2BGziioeBjSHuR6hYfGZ0xR4PHdNrJmai6frpRirJCbRrUOlCmMS1VqHMWBQs8oAChB0S57VqOdz7GDlYgckOZ%2B1oGk6N65A%2Fr1%2BrTwpw%2F0kYuhEwtKgjPOiMisJXbCs%2Bphd82WHHrIwmIgd%2BT6M8J0iomUSBSkHif3IpQ5fHBj

请问Facebook为何会这么做？是否和URL长度有关？我该如何解决这个问题？

1. 原因及与URL长度的关联 #

是的，这几乎肯定和URL长度限制直接相关。Facebook的facebookexternalhit爬虫对抓取的URL有长度上限，当URL总长度超过这个阈值时，就会被粗暴截断。从你的案例来看，截断发生在长签名参数的中间，同时expiry=被改成了expiry（丢失了空值的等号），完全符合长度超限后截断的特征。

另外，部分旧版HTTP客户端或爬虫对URL长度的兼容上限较低，Facebook的爬虫可能保留了这类限制，避免处理过长URL时出现解析错误或性能问题。

2. 解决方法 #

• 缩短签名参数长度：如果签名是自定义生成的，改用更紧凑的签名方案——比如用Base64URL编码替代标准Base64（减少URL转义后的字符数），或者选择更短的哈希算法（在安全允许的前提下）。
• 使用短链接跳转：先生成短链接指向原长URL，发布短链接到Facebook。Facebook爬虫会先抓取短链接，再跟随跳转获取原URL内容，以此绕过长度限制。注意确保短链接服务能正常跳转，且Facebook爬虫允许跟随跳转。
• 优化URL结构：移除或整合冗余参数，比如expiry=这种空值参数，可以在服务器端默认处理为空，不需要放在URL里，直接省略以缩短长度。
• 指定静态缩略图：如果是生成缩略图的场景，通过OG标签直接指定静态缩略图的URL，避免让Facebook爬虫直接访问带长签名的动态URL，从根源上避开长URL问题。

内容的提问来源于stack exchange，提问作者tsoiland