如何一次性将4个DataFrame批量存储至S3存储桶？

你可以通过把DataFrame和对应S3存储路径绑定，再用循环批量处理的方式，避免重复编写相同的上传代码，一次运行完成所有操作。以下是具体实现方案：

1. 整理DataFrame与目标路径的映射 #

先把你的4个DataFrame和它们要存到S3的具体路径整理成一个列表，每个元素是包含DataFrame和S3文件键（路径）的元组：

from io import StringIO
import boto3

# 替换成你实际的4个DataFrame和对应的S3存储路径
dataframe_mapping = [
    (df1, "data_files/user_data.csv"),
    (df2, "data_files/order_data.csv"),
    (df3, "data_files/product_data.csv"),
    (df4, "data_files/log_data.csv")
]

S3_BUCKET_NAME = "你的存储桶名称"  # 替换成实际桶名

2. 批量循环上传 #

只初始化一次S3资源，然后遍历列表完成所有上传：

# 初始化S3资源（仅执行一次，避免重复创建连接）
s3_resource = boto3.resource('s3')

# 循环处理每个DataFrame
for df, s3_file_key in dataframe_mapping:
    csv_buffer = StringIO()
    df.to_csv(csv_buffer, index=False)  # 可选：添加index=False去除DataFrame索引列
    s3_resource.Object(S3_BUCKET_NAME, s3_file_key).put(Body=csv_buffer.getvalue())

可选：并行上传提升效率 #

如果你的DataFrame数据量较大，还可以用多线程并行上传进一步节省时间：

from concurrent.futures import ThreadPoolExecutor

def upload_single_df(df, bucket_name, file_key):
    csv_buffer = StringIO()
    df.to_csv(csv_buffer, index=False)
    s3_resource.Object(bucket_name, file_key).put(Body=csv_buffer.getvalue())

# 用线程池并行处理，线程数可根据需求调整
with ThreadPoolExecutor(max_workers=4) as executor:
    for df, file_key in dataframe_mapping:
        executor.submit(upload_single_df, df, S3_BUCKET_NAME, file_key)

内容的提问来源于stack exchange，提问作者Matt