如何爬取网站地图位置中的全量门店底层数据

直接给结论：遍历全量邮编拉取是可行方案，但效率很低，有明显的优化空间，具体实现参考如下：

• 全量邮编遍历方案的优缺点和优化方式
  这个方案逻辑最简单，不需要额外测试接口其他参数，但是美国有效邮编总量超过4万个，如果固定用50英里半径遍历，会出现两个核心问题：一是相邻邮编覆盖范围高度重叠，70%以上的请求会拉到已经爬过的重复门店数据；二是大量偏远地区邮编周边门店数量远低于30个，会产生很多无效请求，很容易触发站点的反爬限制。
  如果要落地这个方案，必须做两个优化：一是内存里维护一个已爬取门店ID的集合，每次接口返回数据后先和集合比对，已经存在的门店直接跳过，不做重复存储；二是先测试接口radius参数支持的最大值（这类门店查询接口的半径上限通常是100英里），把半径调到最大后再遍历，能减少一半以上的遍历量。
• 更高效的替代方案
  1. 优先测试接口分页能力
     你目前只验证了pagesize参数上限为30，这类列表接口绝大多数都会支持分页，你可以尝试在请求参数里追加pagenum=2、offset=30这类常见分页参数测试，如果接口支持分页，你只需要找一个美国本土中心位置的邮编，把radius调到接口允许的最大值覆盖全美范围，逐页翻取就能拿到全部门店数据，整个流程只需要几十次请求，是成本最低的实现方式。
  2. 空间网格遍历替代邮编遍历
     如果接口确实不支持分页，也不用遍历全量邮编：你可以根据你设置的查询半径，把美国本土版图切割成互相衔接、覆盖无盲区的网格，每个网格取一个中心点的经纬度作为address参数传入（这类查询接口一般都支持直接传经纬度，不需要强制传邮政编码），保证每个网格的范围刚好被查询半径覆盖，最终需要遍历的点可以压缩到数百个，比遍历全量邮编的效率高两个数量级，重复数据量也会大幅降低。
• 爬取注意事项
  请求头里带上普通浏览器的User-Agent，不要开太高并发，请求间隔加1-3秒的随机延迟，避免被IP封禁；所有返回的门店数据都以门店ID为唯一标识去重后再入库。

内容的提问来源于stack exchange，提问作者Zane Cantrell