Pandas 如何实现将DataFrame重复写入CSV时每次新增独立列
问题根因
你使用mode='a'调用to_csv时,pandas是按纯文本流的方式把新内容直接追加到文件末尾,完全不会读取原有CSV的列结构、匹配列位,天然就是按行堆叠内容的逻辑,根本不支持自动把新内容识别为新列写入。
加上你每次生成的单列表格还会自带默认列名,追加时连表头会一起写到内容区,最终打开res.csv会看到第一组10行数据结束后,直接跟着新的一行列名、再接第二组的10行数字,完全是纵向堆叠的效果,根本不会生成横向的新列。
可实现新增列写入的调整方案
方案1:循环攒数据,最后统一写入(最推荐)
这个写法既不会出现格式错乱,还能减少频繁读写文件的性能损耗。把每次循环生成的列先存到同一个总DataFrame里,所有数据生成完毕后一次性写入CSV即可:
import pandas as pd import numpy as np # 初始化空容器存所有列数据 result_df = pd.DataFrame() for i in range(2): # 生成对应列的10个样本数据 col_data = np.random.rand(10) + i # 将当前数据作为新列加入总容器,可自定义列名规则 result_df[f'loss_col_{i}'] = col_data # 全量数据收集完成后一次性写入文件 result_df.to_csv('res.csv', index=False)
方案2:内存不足需分批落盘时的读写逻辑
如果生成的单批数据量太大,没法把所有内容放在内存里等循环结束再写,可以采用「读旧文件-拼新列-覆写全量」的逻辑实现,注意这里不能用追加模式,必须每次全量覆写:
import os import pandas as pd import numpy as np csv_path = 'res.csv' for i in range(2): col_data = np.random.rand(10) + i new_col = pd.Series(col_data, name=f'loss_col_{i}') # 文件已存在时,先读取已有内容 if os.path.exists(csv_path): old_df = pd.read_csv(csv_path) # 按列维度(axis=1)拼接新生成的列 combined_df = pd.concat([old_df, new_col], axis=1) else: # 首次写入时直接初始化文件内容 combined_df = pd.DataFrame(new_col) # 全量覆写文件,替换为拼接后的最新内容 combined_df.to_csv(csv_path, index=False, mode='w')
注意事项
- 写入新列时要保证所有列的长度一致,否则pandas拼接时会自动用空值补位,出现非预期的空缺单元格
- 不要尝试通过修改
mode参数实现“追加为新列”的效果,pandas没有提供对应内置逻辑,纯文本流的追加方式根本无法识别CSV的列结构,只会持续往文件末尾堆行 - 分批落盘的方案仅适合列数少、单文件体量不大的场景,列数过多时每次全量读-写的IO成本会非常高
内容的提问来源于stack exchange,提问作者Whitney
相关产品推荐
相关产品推荐

