如何为DataFrame每行调用需接收完整Series/DataFrame的Python类方法？

基础实现：逐行调用类方法 #

你之前用map遍历整个DataFrame时失败，是因为直接遍历DataFrame默认会迭代列名而非行数据。要遍历行，有两种常用方式：

1. 使用pandas.apply(axis=1) #

apply指定axis=1后，会把每行作为一个Series传入函数，刚好匹配你的类初始化需求：

# 假设你的类名为MyClass，方法为my_method
gdf1['function_return_col'] = gdf2.apply(lambda row: MyClass(row).my_method(), axis=1)

2. 用iterrows()遍历行 #

iterrows()返回的是(行索引, 行Series)的元组，遍历的时候取第二个元素即可：

results = []
for _, row in gdf2.iterrows():
    instance = MyClass(row)
    results.append(instance.my_method())
gdf1['function_return_col'] = results

或者用列表推导式简化：

gdf1['function_return_col'] = [MyClass(row).my_method() for _, row in gdf2.iterrows()]

高效/并行优化方案 #

如果DataFrame行数极多，单线程逐行处理速度会很慢，推荐以下并行方案：

1. 使用swifter自动优化（最简单） #

swifter库会自动判断任务是否适合向量化，若不适合则自动启用并行处理，无需手动拆分：

import swifter

gdf1['function_return_col'] = gdf2.swifter.apply(lambda row: MyClass(row).my_method(), axis=1)

安装方式：pip install swifter

2. 用joblib手动多进程并行 #

手动拆分任务到多个CPU核心处理，适合对并行逻辑有自定义需求的场景：

from joblib import Parallel, delayed

# 封装行处理逻辑
def process_single_row(row):
    return MyClass(row).my_method()

# n_jobs=-1表示使用所有可用CPU核心
results = Parallel(n_jobs=-1)(delayed(process_single_row)(row) for _, row in gdf2.iterrows())
gdf1['function_return_col'] = results

注意：如果你的类或方法包含不可序列化的对象，可在Parallel中指定backend='loky'（默认），该后端对复杂对象的兼容性更好。

3. 超大数据量：用Dask分布式并行 #

如果数据量超出单机内存，推荐用Dask DataFrame做分布式并行处理：

import dask.dataframe as dd

# 将pandas DataFrame转为Dask DataFrame，按CPU核心数设置分区数
ddf = dd.from_pandas(gdf2, npartitions=4)

# 指定返回结果的元数据类型（比如float64，根据你的方法返回值调整）
results = ddf.apply(lambda row: MyClass(row).my_method(), axis=1, meta=('result', 'float64')).compute()
gdf1['function_return_col'] = results

最优思路：优先向量化改造 #

逐行处理本质是Python级别的循环，速度远不如pandas的向量化操作。如果你的类方法可以调整为基于整个DataFrame的向量化计算，那效率会提升几个数量级：

class MyClass:
    def __init__(self, df):
        self.df = df  # 接收整个DataFrame而非单一行

    def my_method_vectorized(self):
        # 用列级别的向量化操作替代逐行处理
        # 示例：计算两列的和再乘以第三列
        return (self.df['col1'] + self.df['col2']) * self.df['col3']

# 只需实例化一次，处理所有行
gdf1['function_return_col'] = MyClass(gdf2).my_method_vectorized()

这种方式完全避开了逐行遍历，利用pandas的C级循环加速，是性能最优的方案。

内容的提问来源于stack exchange，提问作者user20408