如何爬取Media Markt等网店全量商品数据且不被服务器封禁

• 首先做请求限流与动态并发控制，不要直接跑满12线程冲1000万请求：先小范围测试站点的封禁阈值，从单线程每秒1次请求开始逐步上调，找到不会返回429状态码的最高请求速率，用令牌桶算法做全局限速，Python可直接调用ratelimit库实现，Java可以用Guava的RateLimiter实现，控制全局每秒总请求数即可，不需要和CPU核心数绑定线程数。另外可以加动态调整逻辑：连续收到3次429响应就自动将并发数减半、额外增加休眠时长，连续10次请求返回200再缓慢上调并发，比固定线程数的容错性高很多。
• 做基础的请求伪装降低被识别概率：提前准备10_{20个常见桌面浏览器的User-Agent，每次请求随机切换；不要用固定的请求间隔，在基础间隔之上加0}1秒的随机抖动，模拟真人访问的间隔规律；如果预算允许可以搭代理池，用不同IP分散请求，出现IP封禁时直接切换代理无需等待解封。
• 先做有效ID范围过滤，减少总请求量：Media Markt的7位产品ID并非0000000~9999999全区间有效，你可以先从公开的分类页、活动页抓取一批现有商品ID，梳理有效ID的分布规律，比如前两位是否对应品类、有没有明显的无效区间，至少可以砍掉30%以上的无效请求。同时做好请求日志记录，每次请求无论成功失败都标记对应ID的状态，程序中断后可以直接从断点继续，不需要重复请求已经校验过的ID。

注意：爬取前请先查阅目标站点的robots.txt规则以及用户协议中关于自动抓取的相关条款，所有数据仅用于个人非商用用途，避免给站点服务器造成不必要的负担。

内容的提问来源于stack exchange，提问作者Tom