pandas中如何在for循环拼接DataFrame?代码仅获取到最后一次循环结果
问题核心原因
循环内的拼接逻辑存在覆盖式错误:每轮循环执行df_summary = pd.concat([df, pd.DataFrame(...)], axis=1)时,拼接的基准对象是未经过列累积的原始主DataFrame,而非上一轮循环已经完成列追加的df_summary。每轮循环都会完全覆盖上一轮生成的df_summary结果,最终只会留存最后一次循环生成的Summary_B列,早前循环生成的Summary_A列会被直接丢弃。
修正方案
1. 适配原有循环逻辑的最小改动
调整三个细节:
- 初始化
df_summary时直接复制原始主df作为拼接基准,而非空DataFrame - 每轮循环基于当前已累积列的
df_summary做列追加,而非每次都用原始df重新拼接 - 生成临时转换列的DataFrame时,指定和原df一致的索引,避免索引错位带来的空值问题
修正后代码:
import pandas as pd df = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB')) columns = ['A','B'] def run_all(x): x = x*2 return x # 以原始主df为拼接基准初始化 df_summary = df.copy() for column in columns: df0 = df[column] df__ = [] for each_row in df0: df__.append(run_all(each_row)) # 在已累积的df_summary基础上追加新列,而非重新拼接原始df df_summary = pd.concat( [df_summary, pd.DataFrame({'Summary_' + column: df__}, index=df.index)], axis=1 ) df_final = pd.DataFrame(df_summary) print(df_final)
2. 性能更优的向量化写法
pandas原生支持Series级别的向量化运算,完全不需要双层逐行循环,批量生成转换列后一次性拼接即可,运算效率会比逐行循环高一个数量级:
import pandas as pd df = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB')) columns = ['A','B'] def run_all(x): x = x*2 return x # 批量生成所有转换列 converted_df = pd.DataFrame( {f'Summary_{col}': df[col].apply(run_all) for col in columns} ) # 一次性完成主df和转换列的拼接 df_final = pd.concat([df, converted_df], axis=1) print(df_final)
两种写法运行后均可得到完整的正确输出:
A B Summary_A Summary_B 0 1 2 2 4 1 3 4 6 8
内容的提问来源于stack exchange,提问作者satya kapoor
相关产品推荐
相关产品推荐

