如何无需循环列，用Pandas基于列名填充含重复列的空表？

可以直接利用Pandas的矢量化批量操作完成填充，无需逐列循环，效率远高于循环方式。核心思路是根据df1的列名列表，从df2中批量提取对应列（重复列会自动重复提取），然后直接覆盖赋值给df1。

实现代码 #

# 批量填充数据，无需循环
df1.loc[:] = df2[df1.columns]

原理说明 #

• df2[df1.columns]会严格按照df1的列名顺序提取数据：如果df1中有重复列名（比如多个'A'），则会重复提取df2中对应的单列数据，最终生成的DataFrame列结构和df1完全一致。
• 由于df1和df2行数完全相同（均为62行），df1.loc[:]的赋值操作是Pandas底层优化的批量操作，能一次性完成所有列的数据填充，在3000+列的场景下，速度会比循环快几个数量级。

验证示例 #

import pandas as pd

# 模拟df1：空表，含重复列
df1 = pd.DataFrame(columns=['A', 'B', 'A', 'C', 'C', 'A'], index=range(2))
# 模拟df2：非空表，列名无重复
df2 = pd.DataFrame({
    'A': [10, 20],
    'B': [30, 40],
    'C': [50, 60],
    'D': [70, 80]
})

# 执行填充
df1.loc[:] = df2[df1.columns]
print(df1)

输出结果：

A   B   A   C   C   A
0  10  30  10  50  50  10
1  20  40  20  60  60  20

可见所有重复列都正确填充了df2中对应列的数据。

为什么merge/update不适用 #

• pd.merge是行级关联工具，会生成新表，无法直接保留df1的重复列结构；
• df1.update(df2)虽能按列名更新，但df1的重复列名会导致匹配逻辑混乱，且效率不如批量赋值。

内容的提问来源于stack exchange，提问作者Oneal R