使用Lambda boto3校验S3存储的EC2实例ID存在性的异常排查

你的代码出现重复输出的核心问题是循环嵌套逻辑错误：你把遍历S3 ID列表的逻辑放在了EC2实例遍历的内层循环里，每匹配1台现存EC2实例，就会完整遍历一次S3里的所有ID、每条ID都输出一次结果。如果你的账号下有2台EC2实例，就会触发2次全量S3 ID遍历，自然会出现重复的输出条目。
同时这种嵌套循环的时间复杂度是O(n*m)，EC2实例和S3存储的ID数量越多，执行效率越低，还会重复拉取S3文件内容，完全没必要。

调整逻辑，先分别提取两个ID集合再做比对，单次遍历就能得到全部结果：

1. 先拉取全量现存EC2实例ID，存入Set集合方便快速查询
2. 只拉取一次S3文件，提取所有待校验的实例ID
3. 遍历待校验ID列表，每一条仅做一次存在性判断，输出唯一结果

import boto3

ec2_client = boto3.client('ec2')
s3_client = boto3.client('s3')

# 配置S3文件的桶名和对象键，可根据实际情况改成从event动态获取
S3_BUCKET = '替换为你的桶名'
S3_KEY = '替换为你的实例ID文件路径'

def lambda_handler(event, context):
    # 第一步：一次性获取所有现存EC2实例ID，存入集合
    existing_instance_ids = set()
    ins_inf = ec2_client.describe_instances()
    for reservation in ins_inf['Reservations']:
        for ins_cur in reservation['Instances']:
            existing_instance_ids.add(ins_cur["InstanceId"])
    
    # 第二步：只拉取一次S3文件，获取所有待校验的实例ID
    s3_obj = s3_client.get_object(Bucket=S3_BUCKET, Key=S3_KEY)
    s3_id_list = [line.strip() for line in s3_obj['Body'].iter_lines() if line.strip()]
    
    # 第三步：单循环比对，每个ID仅输出一次结果
    for check_id in s3_id_list:
        if check_id in existing_instance_ids:
            print(f'{check_id} found')
        else:
            print(f'{check_id} not found in aws')

• 如果你的EC2实例数量超过1000台，describe_instances会返回分页结果，需要用NextToken循环拉取所有实例，避免漏查
• 可以把校验结果收集后统一输出到日志或者写入S3、DynamoDB做留存，方便后续统计
• 可添加异常捕获逻辑，处理S3文件读取失败、EC2接口调用失败的场景

内容的提问来源于stack exchange，提问作者NiNoMax