Lambda Python用boto3读取S3文件触发ConnectTimeoutError如何解决

1. 修复boto3配置生效问题并调整重试策略 #

你报错日志中显示连接超时为5秒，和代码中配置的900秒不一致，说明当前Config没有正确生效，先排查参数传递逻辑，确认创建S3资源时确实加载了你定义的Config。
同时你当前关闭了所有重试retries={"max_attempts": 0}，遇到S3临时限流、网络抖动都会直接抛出超时错误，调整重试配置如下：

from botocore.config import Config

config = Config(
    read_timeout=900,
    connect_timeout=900,
    retries={
        "max_attempts": 5,
        "mode": "standard"
    },
    max_pool_connections=50 # 扩大连接池，默认值为10，适配多文件并发读取场景
)

2. 优化对象读取逻辑，及时释放连接 #

循环读取S3对象时如果没有及时关闭文件流，会导致连接池耗尽，后续请求无法获取可用连接触发超时，处理文件时增加显式关闭逻辑：

s3 = session.resource('s3', config=config)
bucket = s3.Bucket(bucket_name) # 注意变量名不要重复，避免覆盖原有bucket参数
for obj in bucket.objects.all():
    # 仅处理文本文件，跳过目录等其他对象
    if not obj.key.endswith('.txt'):
        continue
    # 读取完成后显式关闭Body流释放连接
    body = obj.get()['Body']
    file_content = body.read().decode('utf-8')
    body.close()
    # 后续处理文件内容

如果只需要处理特定目录下的文件，用filter替代all()减少返回的对象数量，降低请求压力：

for obj in bucket.objects.filter(Prefix="target_folder/"):

3. 检查Lambda网络配置 #

如果你的Lambda部署在VPC内，默认无法访问公网S3 endpoint，二选一配置即可：

• 给Lambda所在子网配置NAT网关，开放公网出口访问S3
• 给VPC配置S3 Gateway端点，走AWS内部网络访问S3，延迟更低且无公网带宽成本
  如果Lambda没有部署在VPC内，检查执行角色的权限是否包含s3:GetObject、s3:ListBucket权限，同时确认Lambda的执行超时时间设置大于你整体文件处理的预估时长。

4. 极端场景优化 #

如果需要处理的文本文件数量超过1000个，优先做预处理：

• 提前把多个小文本文件合并为单个压缩包，下载到Lambda本地后解压处理，减少S3请求次数
• 用分页方式拉取对象列表，避免单次List请求返回数据量过大超时

内容的提问来源于stack exchange，提问作者Sang Yeoun Lee