如何高效填充DataFrame列？无额外对象生成的最优方案

1. 首选：用pandas向量化运算（效率碾压所有循环） #

pandas的核心优势就是向量化操作，完全避开逐元素循环，10万行数据基本是毫秒级处理。不管是简单运算还是复杂逻辑，先想能不能转成向量化：

# 示例：根据col1生成col2，逻辑为 col1*2 + 3
df['col2'] = df['col1'] * 2 + 3

如果逻辑复杂到没法直接用原生向量化，也可以用numpy.vectorize（本质是优化后的循环，比纯Python循环快），或者用numba给自定义函数做向量化加速。

2. 若必须逐元素操作：生成器+itertools.consume（无中间对象） #

如果你的逻辑真的没法向量化（比如依赖外部状态、复杂分支判断），不想生成无用列表或map对象，就用生成器表达式配合itertools.consume——它会直接迭代生成器并丢弃结果，完全不产生任何中间容器：

from itertools import consume

def process_row(i):
    # 这里替换成你的自定义填充逻辑
    df.iat[i, df.columns.get_loc('col2')] = df.iat[i, df.columns.get_loc('col1')] * 2 + 3

# 用生成器生成操作，consume直接消耗，无额外对象
consume((process_row(i) for i in range(len(df))), None)

3. 循环优化：用df.itertuples()遍历（比纯索引更快） #

如果要逐行处理，itertuples()返回命名元组，访问数据的速度比iat直接索引更快，配合consume同样不产生中间对象：

from itertools import consume

def process_row(row):
    # 这里替换成你的自定义填充逻辑
    df.iat[row.Index, df.columns.get_loc('col2')] = row.col1 * 2 + 3

consume((process_row(row) for row in df.itertuples()), None)

重点提醒 #

• 永远优先考虑向量化，这是pandas的设计初衷，任何循环都达不到这个效率。
• 非用循环不可时，尽量避免直接用range(len(df))做索引遍历，itertuples是更快的选择。
• itertools.consume是Python标准库自带工具，专门用来无消耗地迭代生成器，完美匹配你“不生成额外内容”的需求。

内容的提问来源于stack exchange，提问作者Michau123