Pandas apply函数随输入数据量不同表现异常问题排查

核心问题：可变对象的复用 #

你遇到的问题大概率是函数内复用了同一个可变对象（比如列表），而非每次处理行时都新建独立对象：

• 当你在函数外部（或者函数定义的外层作用域）初始化了一个列表，或者在函数内部把列表初始化放在了错误的位置（比如函数定义时而非每次调用时），Pandas的apply循环调用函数时，所有行都会共享这个列表对象，导致最终所有行的结果都是同一个列表的最终状态。
• 而直接把代码放到主程序运行时，你大概率是在每次循环行的时候都新建了列表，自然不会出现共享的问题。

典型错误代码示例 #

比如这种写法就会踩坑：

# 错误：全局列表被所有行共享
temp_list = []
def fill_col(row):
    temp_list.append(row['value'])
    return temp_list

df['new_col'] = df.apply(fill_col, axis=1)

或者函数内的初始化逻辑错误：

# 错误：类实例变量被所有行共享
class Processor:
    def __init__(self):
        self.temp_list = []  # 仅初始化一次
    
    def fill_col(self, row):
        self.temp_list.append(row['value'])
        return self.temp_list

processor = Processor()
df['new_col'] = df.apply(processor.fill_col, axis=1)

1. 每次函数调用时新建局部可变对象
   确保存储当前行结果的列表是函数的局部变量，每次调用函数时都重新初始化：

   def fill_col(row):
       # 关键：每次调用都新建独立列表
       temp_list = []
       # 业务逻辑示例：根据行值填充列表
       if row['score'] >= 60:
           temp_list.append(row['name'])
           temp_list.append(row['id'])
       return temp_list
   
   df['new_col'] = df.apply(fill_col, axis=1)
   

2. 避免依赖外部可变变量
   函数的计算逻辑应该完全依赖传入的row参数，不要引用函数外的全局变量、类实例变量等可变对象，彻底隔离每行的计算状态。

3. 改用矢量化/列表推导替代apply
   apply本质是逐行循环，效率低且容易出现这类状态问题。可以用列表推导或者Pandas矢量化操作替代，比如：

   # 列表推导写法，更直观且无状态共享问题
   df['new_col'] = [
       [row['name'], row['id']] if row['score'] >=60 else []
       for _, row in df.iterrows()
   ]
   

内容的提问来源于stack exchange，提问作者beautysleep