如何原地合并DataFrame减少nblocks数量，规避碎片化警告？

针对你通过原地插入大量列导致DataFrame碎片化（触发DataFrame is highly fragmented警告）的问题，以下是可行的原地解决方案：

1. 使用内部方法_consolidate_inplace() #

pandas提供了内部的原地合并块方法_consolidate_inplace()，可以直接合并DataFrame的内部块结构，减少df._mgr.nblocks的数量，且不会创建DataFrame副本：

# 完成所有原地列插入操作后调用
df._consolidate_inplace()
# 验证块数量是否减少
print(df._mgr.nblocks)

这个方法在pandas 2.0+版本中依然有效，尽管它是内部API，但在实际场景中是处理这类问题的直接手段。

2. 优化列插入方式（从根源减少碎片化） #

如果可以调整插入逻辑，建议一次性批量插入列，而不是逐个原地插入：

• 先将所有需要插入的列整理到一个字典或临时DataFrame中
• 一次性赋值给原DataFrame的新列

# 示例：批量插入列
new_cols = {"col_a": series_a, "col_b": series_b, ...}
df[list(new_cols.keys())] = new_cols.values()

这种方式会让pandas尽可能合并块，从一开始就避免大量碎片化的产生。

补充说明 #

在pandas 2.0之前，部分聚合方法（如df.mean()）会隐式触发原地合并，但2.0版本后这个行为被移除，因此需要手动调用合并方法来处理碎片化问题。

内容的提问来源于stack exchange，提问作者edwardliu