pandas DataFrame插入列数未知的新列的最优实现方案是什么？

你遇到的性能警告是因为循环逐列赋值会频繁触发DataFrame的列插入操作，导致内存碎片化，性能极差。最优解法是先将字典列表直接转换为新的DataFrame，再一次性和原DataFrame拼接，完全避免循环操作：

核心代码 #

import pandas as pd

# 直接生成新列DataFrame，指定索引和原df一致避免行错位
new_cols_df = pd.DataFrame(l, index=indf.index)
# 横向拼接得到最终结果
outdf = pd.concat([indf, new_cols_df], axis=1)

方案优势 #

• 符合pandas向量化操作规范，全程无显式循环，代码简洁易读
• 一次性完成所有新列的插入，完全规避了频繁插入列导致的碎片化警告，数据量越大性能优势越明显
• 自动兼容不同行字典键不一致的场景，缺失值会自动填充为NaN，无需额外处理
• 原有代码里的deepcopy是冗余操作，pd.concat默认会生成独立的新DataFrame，不会修改原始输入的indf，不需要额外深拷贝浪费内存

内容的提问来源于stack exchange，提问作者robertspierre