Pandas如何将循环获取的boto3响应字典生成的DataFrame合并为单个表

方案1：直接构造（最高效） #

Pandas原生支持将「由单行字典组成的列表」直接转换为完整DataFrame，无需逐元素生成临时DataFrame再拼接：

# 提取boto3响应中的事件列表
events_list = response_event.get('Events')
# 直接基于字典列表生成合并后的完整DataFrame
final_df = pd.DataFrame(events_list)
print(final_df)

该方案完全避免了多次生成临时DataFrame的开销，尤其适合事件量较大的场景，最终输出和你预期的结构完全一致。

方案2：适配带遍历处理逻辑的场景 #

如果遍历每个事件时需要额外做字段清洗、过滤、衍生字段计算等操作，可以先把每个生成的单行DataFrame存入临时列表，最后一次性合并：

events_list = response_event.get('Events')
# 初始化空列表存储所有待合并的单行DataFrame
df_container = []

for e in events_list:
    # 可在此处插入针对单个事件的自定义处理逻辑
    single_df = pd.DataFrame.from_dict(e)
    df_container.append(single_df)

# 使用pd.concat *纵向合并所有DataFrame，自动生成连续行索引*
final_df = pd.concat(df_container, ignore_index=True)
print(final_df)

关键说明：参数ignore_index=True会自动丢弃每个单行DataFrame自带的重复索引，最终生成从0开始连续排列的行号，和你需要的输出结构匹配。

避坑提示 #

• 不要使用循环内逐次调用df.append()的写法，该方法在新版Pandas中已被废弃，且逐次合并的性能远低于「列表收集+一次性concat」的实现，事件量越大，两者的性能差距越明显。

内容的提问来源于stack exchange，提问作者marcin2x4