Python如何直接读取S3多层子目录下的指定文件 无需遍历全部对象

最优实现方案 #

你现有遍历全桶对象匹配Key的方案仅适合存储桶内文件极少的场景，当桶内存在大量文件时会产生大量无效请求、耗时极长。由于你已经知晓完整的对象Key（即S3路径中s3://{桶名}/之后的字符串部分），可以直接精准定位到目标文件读取内容，无需遍历操作。

方式1：沿用boto3 resource接口实现

import boto3
import json  # 读取JSON文件可引入该库直接转换格式

s3 = boto3.resource('s3')
# 直接传入桶名、完整对象Key构造对象
target_obj = s3.Object('s3-bucket', 'folder-1/folder-2/my_file.json')
# 读取文件字节内容
file_content = target_obj.get()['Body'].read()
# 若为JSON文件可直接转为Python字典
# json_data = json.loads(file_content)

方式2：使用boto3 client接口实现

import boto3
import json

s3_client = boto3.client('s3')
response = s3_client.get_object(
    Bucket='s3-bucket',
    Key='folder-1/folder-2/my_file.json'
)
file_content = response['Body'].read()

额外说明：S3本身没有实际的目录结构，所谓的多层子目录本质是对象Key的前缀字符串，所以直接传入完整Key即可定位到目标文件，无需做任何路径解析或遍历操作。使用前请确保你的AWS身份凭证具备对应对象的s3:GetObject权限，否则会触发权限报错。

内容的提问来源于stack exchange，提问作者user2552845