如何通过自定义函数高效填充Pandas DataFrame新列？

嘿，针对你处理几十万行DataFrame新增列的效率问题，我来给你梳理几个靠谱的方案，帮你理清思路～

首先得明确：Pandas里最核心的效率提升逻辑就是尽量避免逐行的Python循环，优先用底层基于C实现的向量化操作。下面针对你的场景逐一分析：

1. 最优选择：原生向量化操作 #

如果你的自定义函数逻辑可以拆解成Pandas/NumPy的原生向量化运算，这绝对是最快的方案——没有之一。

比如你的multFunc是计算三数乘积，完全不需要写自定义函数，直接一行搞定：

# 无常量的情况
df['a'] = df['x'] * df['y'] * df['z']
# 带常量的情况
df['a'] = df['x'] * df['y'] * 20

哪怕函数逻辑复杂一点（比如带条件判断），也尽量用np.where这类向量化工具实现，比如：

import numpy as np
# 示例：当x>5时计算x*y*z，否则返回x+y+z
df['a'] = np.where(df['x'] > 5, df['x']*df['y']*df['z'], df['x']+df['y']+df['z'])

这种方式完全避开了Python循环，几十万行数据处理起来毫秒级就能完成。

如果一定要保留自定义函数，只要函数内部是向量化操作（接收Series/数组，返回Series/数组），直接传列进去调用就行：

def vectorized_mult(x, y, z):
    return x * y * z

# 调用时直接传Pandas Series
df['a'] = vectorized_mult(df['x'], df['y'], df['z'])
# 带常量的话，直接传常量即可（NumPy会自动广播匹配长度）
df['a'] = vectorized_mult(df['x'], df['y'], 20)

2. 次优选择：用np.vectorize包装标量函数 #

如果你的自定义函数只能处理单个标量（比如原本是写来处理单个x、y、z值的），可以用NumPy的np.vectorize来包装它。虽然它本质上还是循环，但比Pandas的apply(axis=1)效率高不少，尤其是数据量大的时候：

import numpy as np

def multFunc(x, y, z):
    return x * y * z

# 包装成向量化函数
vectorized_func = np.vectorize(multFunc)
# 直接传列调用
df['a'] = vectorized_func(df['x'], df['y'], df['z'])
# 带常量的情况直接传常量即可
df['a'] = vectorized_func(df['x'], df['y'], 20)

不过要注意：np.vectorize只是语法糖，性能提升是相对的，能转原生向量化就优先转。

3. 省心选择：用swifter自动优化 #

如果你的函数逻辑复杂，不确定能不能转成向量化操作，可以试试swifter库——它会自动检测你的函数是否支持向量化，然后选择最快的执行方式（要么原生向量化，要么优化后的逐行处理）。

安装后用法很简单：

import swifter

# 无常量的情况
df['a'] = df.swifter.apply(lambda row: multFunc(row['x'], row['y'], row['z']), axis=1)
# 带常量的情况
df['a'] = df.swifter.apply(lambda row: multFunc(row['x'], row['y'], 20), axis=1)

它比手动判断更省心，性能也比原生apply(axis=1)好很多。

绝对要避开的坑：不要用apply(axis=1) #

你提到的第二种方法df[['x','y','z']].apply(lambda x: multFunc(*x), axis=1)，在处理几十万行时会非常慢。因为apply(axis=1)是逐行调用Python函数，每一行都有Python解释器的开销，数据量越大，效率差距越明显——绝对要避免这种写法。

优先级总结 #

原生向量化操作 > np.vectorize > swifter > apply(axis=1)

内容的提问来源于stack exchange，提问作者Brendan Newell