嘿，遇到这种爬虫无视Robots.txt疯狂爬图的情况确实头疼，我给你几个实用的思路，一步步来解决：

• 先确认爬虫是不是真的亚马逊官方的
  有些蹭AWS IP的第三方爬虫会冒充亚马逊bot，你可以先查下那个IP的WHOIS信息，确认它属于亚马逊官方IP段；也可以做反向DNS解析，看解析后的域名是不是指向amazonaws.com这类官方域名。如果是冒充的，直接搞IP限制或者频率限制就行；要是真的官方爬虫，再往下看。

• 先自查Robots.txt的配置有没有坑
  很多时候不是爬虫无视规则，是咱们的规则写得不对：

  • 是不是User-agent: Amazonbot的写法错了？比如大小写问题（虽然大部分爬虫不区分，但保险起见用官方标注的UA）
  • Disallow的路径是不是准确？比如要禁爬/images/目录，是不是写成了Disallow: images/（少了开头的斜杠，导致规则不生效）
  • Robots.txt是不是放在网站根目录？权限是不是给了匿名读取？要是爬虫连Robots.txt都读不到，自然会无视规则
    你可以手动模拟爬虫请求Robots.txt，看看能不能正常获取到内容，确认规则没问题。

• 如果是官方爬虫真的无视规则，直接找亚马逊反馈
  亚马逊有专门的爬虫问题反馈渠道，你整理好证据：Robots.txt的完整内容、爬虫请求的日志（包含IP、UA、请求的图片路径）、带宽飙升的统计数据，提交给他们的支持团队，说明这些违规爬取导致你的服务器带宽过载，官方一般会跟进处理的。

• 从图片本身下手做防护，比封IP/UA靠谱
  不想误封正常用户的话，咱们针对图片资源做针对性防护：

  • 开启防盗链：在IIS里配置Referer规则，只允许你自己的域名请求图片，外部直接爬图的请求就会被拦截。记得留好例外，比如你自己的社交媒体账号嵌入图片的情况，把这些域名加进去。
  • 设置请求频率限制：用IIS的「请求限制」功能，给单个IP设个阈值，比如1分钟内最多请求50张图片，超过就返回429（Too Many Requests），这样爬虫就算来爬，也没法一次性拉走大量资源，能有效压下来带宽消耗。
  • 用动态签名的图片URL：把图片访问改成带临时签名的链接，比如用户加载页面时生成一个有有效期的图片地址，爬虫拿到的旧链接很快就失效，根本没法批量爬取。这个需要改点代码，但防护效果是最好的。

• 批量处理亚马逊爬虫的IP段（谨慎操作）
  如果你确认这些IP都是亚马逊官方爬虫的IP范围，可以整理出对应的IP段，在IIS里批量添加IP拒绝规则。不过要注意，别把AWS上的其他合法服务IP也封了，最好先小范围测试，确认没问题再全量部署。

备注：内容来源于stack exchange，提问作者Sami.C