pandas中如何在内存直接拼接多迭代DataFrame 避免CSV中转读写
该需求完全可行,可完全替代"写CSV-读CSV"的中转流程
之前拼接失败的核心原因
你之前试了多种拼接方式没成功,本质是没有对齐你当前混搭CSV被读入时的列匹配规则:
- 你现在每轮写入的两个DataFrame是完全异构的:一类包含load、mem、Loc、Rem列,另一类仅包含log_no列,两类表没有任何公共列
- 如果直接硬做列对齐拼接,要么会出现大量非预期空值,要么因为内连接规则直接拼出空表,和你重新读CSV得到的结果对不上
具体实现方法
用内存列表缓存所有迭代生成的DataFrame块
把缓存列表初始化放在迭代循环的最外层,每轮生成df、df1后只做缓存不做即时拼接:# 循环外初始化空列表,用来存每轮生成的所有DataFrame frame_list = [] for 你的业务迭代逻辑: # 原有生成df、df1的代码保持不变 frame_list.append(df) frame_list.append(df1)统一做外连接拼接,生成等效于读CSV的df3
所有迭代完成后,对缓存列表执行一次性拼接,完全复刻你当前CSV读写流程得到的表结构:# 外连接会自动取所有块的列名并集,对应位置填值,其余为空 df3 = pd.concat(frame_list, axis=0, join="outer")这里不需要额外调整参数,pandas默认的索引保留、列外连接逻辑,和你执行
df.to_csv(index=True)写出的文件被pd.read_csv读入后的结构完全一致,不会和原流程有偏差。可省略的优化:如果你想完全对齐你现有CSV里的重复表头效果
你当前写CSV时每次都开启header=True,会把每个df的表头也混在数据行里,这部分如果需要完全模拟,只需要在缓存的时候手动把每个df的表头转成一行占位数据存进列表即可,完全不需要落地成文件:for 你的业务迭代逻辑: # 生成df、df1后,把带表头的行也加进列表,模拟CSV追加的效果 frame_list.append(pd.DataFrame([df.columns], columns=df.columns)) frame_list.append(df) frame_list.append(pd.DataFrame([df1.columns], columns=df1.columns)) frame_list.append(df1)
常见踩坑提醒
- 不要每轮迭代即时拼接:单轮拼完两个异构表后,下一轮再拼接会反复重排列顺序,不仅效率低,还容易出现列错位
- 不要用内连接参数
join='inner':两类df没有公共列,内连接会直接生成全空的结果表,这是很多人拼接异构表失败的核心原因 - 拼接时不要强制开启
ignore_index=True:会打乱你原来和CSV对应的索引值,导致和原读入结果对不上
内容的提问来源于stack exchange,提问作者ML85
相关产品推荐
相关产品推荐

