基于AWS Lambda的IP轮换爬虫问题咨询
AWS Lambda爬取IP相关问题解答
问题1:同一区域内的每台机器是否保证拥有不同的IP地址?
AWS Lambda的执行环境并非每台都有独立公网IP。所有Lambda的出站流量都会通过所在区域的NAT网关IP池转发,多个执行环境会共享这个池里的IP资源,不存在“每台机器对应唯一IP”的保证。即使是不同的执行环境,也可能使用同一个公网IP对外请求。
问题2:当运行约1000个并发任务时,它们更可能在同一机器还是不同机器上执行?
1000个并发Lambda任务**更大概率分布在不同的执行环境(机器)**中。Lambda会根据并发量自动扩容,单个执行环境只能承载少量并发实例,当并发数超过阈值时,AWS会启动新的执行环境来处理负载。但要注意,即使在不同执行环境,仍可能共享同一个公网IP。
问题3:是否可以确保新启动的任务不会与同类任务运行在同一机器上?
无法确保。Lambda的执行环境调度完全由AWS托管,用户无法指定任务的运行环境。AWS会优先复用空闲的暖执行环境(之前任务结束后保留的环境)来运行新任务,以此提升性能、降低启动延迟,所以新任务完全有可能和之前的同类任务运行在同一执行环境中。
内容的提问来源于stack exchange,提问作者DiveIntoML
相关产品推荐
相关产品推荐

