如何用boto3分页器直接生成S3对象数据的Pandas DataFrame？

问题背景 #

我用boto3的list_objects_v2接口拉取S3存储桶对象数据并生成Pandas DataFrame。数据量少无需分页时，实现起来很简单：

import boto3
import pandas as pd

s3 = boto3.client('s3')
response = s3.list_objects_v2(Bucket=bucket_name)

object_df = pd.DataFrame()
for elem in response:
    if 'Contents' in elem:
        object_df = pd.json_normalize(response['Contents'])

但list_objects_v2默认最多返回1000条数据，处理大量数据必须用分页器。最初写的分页代码出现无限循环，后来改成逐页追加DataFrame才解决：

appended_object_df = pd.DataFrame()
paginator = s3.get_paginator("list_objects_v2")
for page in paginator.paginate(Bucket=bucket_name):
    object_df = pd.json_normalize(page['Contents'])
    appended_object_df = appended_object_df.append(object_df, ignore_index=True)

现在想知道：能不能跳过逐页追加的步骤，直接生成完整的DataFrame？

解决方案 #

当然可以，核心思路是先把所有分页的对象数据一次性收集到一个容器里，再统一转换成DataFrame，既简洁又比逐页追加高效（毕竟Pandas的append操作每次都会创建新DataFrame，多次执行有性能损耗）。

方法1：列表推导式收集所有对象 #

import boto3
import pandas as pd

s3 = boto3.client('s3')
paginator = s3.get_paginator("list_objects_v2")

# 遍历所有分页，收集所有对象数据（用get避免空分页报错）
all_objects = [obj for page in paginator.paginate(Bucket=bucket_name) 
               for obj in page.get('Contents', [])]

# 一次性生成完整DataFrame
object_df = pd.json_normalize(all_objects)

方法2：生成器表达式（内存友好） #

如果存储桶内对象数量极大，用生成器表达式可以减少中间列表的内存占用（不过Pandas最终还是会把所有数据加载到内存）：

all_objects = (obj for page in paginator.paginate(Bucket=bucket_name) 
               for obj in page.get('Contents', []))
object_df = pd.json_normalize(all_objects)

补充：之前无限循环的原因 #

你最初的分页代码里，for elem in page是遍历响应字典的键（比如ResponseMetadata、IsTruncated这些），而非遍历Contents里的对象。同时每次循环都重新赋值object_df，没有累积数据，再加上分页器本身会自动处理分页逻辑，才导致了异常循环。

注意事项 #

• 用page.get('Contents', [])替代直接取page['Contents']，可以避免空分页（比如桶内无对象时）出现KeyError。
• 一次性生成DataFrame的方式，在数据量较大时性能明显优于逐页追加。

内容的提问来源于stack exchange，提问作者ire