如何借助辅助函数向量化Pandas代码并传入整行数据？

问题背景 #

我当前用Pandas处理DataFrame，之前通过itertuples调用辅助函数，函数需要用到50多列数据，不想逐个传参。示例代码如下：

def process_row(self, df_row):
    return df_row['sky_color'] == 'blue'

后续改用apply提速：

df['isSkyBlueExample'] = df.apply(process_row, axis=1)

但apply的效率仍未达到预期，想知道如何用Pandas或Numpy的向量化操作进一步优化，且保持传入整行（或批量列）的便捷性，而非拆分50个参数。

解决方案 #

一、直接用Pandas列级矢量化操作

这是效率最高的方案，完全规避逐行遍历。只要逻辑能拆解为列与列的批量运算，就直接操作列：

# 示例：单列逻辑
df['isSkyBlueExample'] = df['sky_color'] == 'blue'

# 示例：多列组合逻辑（比如同时满足3个条件）
df['isIdealWeather'] = (df['sky_color'] == 'blue') & (df['temp'] > 20) & (df['humidity'] < 60)

这种方式完全利用Pandas的矢量化引擎，效率比apply高10~100倍（数据量越大差距越明显）。

二、用Numpy数组处理复杂多列逻辑

如果逻辑无法直接用Pandas列操作实现，可将需要的列转为Numpy数组，用Numpy的矢量化运算处理：

import numpy as np

# 提取目标列转为Numpy数组
sky_colors = df['sky_color'].values
temps = df['temp'].values
humidities = df['humidity'].values

# 矢量化条件判断
df['isIdealWeather'] = np.where(
    (sky_colors == 'blue') & (temps > 20) & (humidities < 60),
    True,
    False
)

Numpy的数组运算底层是C实现，比Pandas的apply循环效率高很多。

三、将自定义函数矢量化（np.vectorize）

如果逻辑必须封装为函数，可使用np.vectorize将元素级函数转为矢量化版本（注意：这是语法糖，底层仍为循环，但比apply效率略高）：

# 定义元素级逻辑函数（接收单个值而非整行）
def process_logic(sky_color, temp, humidity):
    return (sky_color == 'blue') and (temp > 20) and (humidity < 60)

# 矢量化函数
vectorized_process = np.vectorize(process_logic)

# 传入对应列的Numpy数组
df['isIdealWeather'] = vectorized_process(
    df['sky_color'].values,
    df['temp'].values,
    df['humidity'].values
)

适合逻辑复杂但可拆解为元素级运算的场景，若依赖整行的复杂关联则不适用。

四、用Pandas eval/query简化多列逻辑

对于可通过字符串描述的复杂条件，df.eval()或df.query()是更简洁的选择，内部同样是矢量化执行：

# 使用eval生成布尔列
df['isIdealWeather'] = df.eval("sky_color == 'blue' and temp > 20 and humidity < 60")

# 使用query生成掩码再转布尔列
mask = df.query("sky_color == 'blue' and temp > 20 and humidity < 60").index
df['isIdealWeather'] = df.index.isin(mask)

这种方式代码可读性强，适合条件表达式不复杂的场景。

关键注意点 #

• 优先规避逐行处理：apply(axis=1)本质是Python级循环，数据量越大效率越低，矢量化操作才是Pandas/Numpy的最优实践。
• 拆解复杂逻辑：把依赖整行的逻辑尽量拆分为列与列的批量运算，这是提升效率的核心。
• 测试性能：用%timeit对比不同方案的运行时间，选择最适配你场景的方法。

内容的提问来源于stack exchange，提问作者Lance Bloom