如何使用Bing缓存页面进行网页爬取？有无类似Google的URL拼接方案

Bing 支持和 Google 缓存逻辑类似的直接拼接 URL 访问形式，无需手动点击搜索结果对应的缓存入口。

拼接规则 #

直接按照如下格式构造访问链接即可：
https://www.bing.com/search?q=cache:<目标网站完整URL>

举个实际示例，要获取 https://example.com 的 Bing 缓存，最终拼接后的访问链接为：
https://www.bing.com/search?q=cache:https://example.com

注意事项 #

• 只有目标页面已被 Bing 收录且生成了缓存快照时，上述链接才会直接返回缓存内容，否则会跳转至普通搜索结果页，提示无匹配缓存
• 爬取缓存页面时需要遵守 Bing 的爬虫规则以及目标站点的 robots 协议，避免违规访问
• 若访问时触发人机验证，可适当降低爬取频率、调整请求头模拟正常浏览器行为解决

内容的提问来源于stack exchange，提问作者Swastik