Python：DataFrame多列按条件应用自定义函数报ValueError的解决方法

问题场景 #

我需要处理一个DataFrame：当A列值为'02'时，对B、C、D、E、F这5列中值不为0的行应用自定义函数。最初写的代码在只处理2列时正常运行，但处理5列时抛出错误：

ValueError: Must have equal len keys and value when setting with an iterable

原始代码：

mask = (df['A']=='02')
z_valid = df[mask]
df.loc[((mask) & (df['B'] !=0)), 'B'] = z_valid['B'].apply(your_custom_func)
df.loc[((mask) & (df['C'] !=0)), 'C'] = z_valid['C'].apply(your_custom_func)
df.loc[((mask) & (df['D'] !=0)), 'D'] = z_valid['D'].apply(your_custom_func)
df.loc[((mask) & (df['E'] !=0)), 'E'] = z_valid['E'].apply(your_custom_func)
df.loc[((mask) & (df['F'] !=0)), 'F'] = z_valid['F'].apply(your_custom_func)

错误原因 #

这个报错的核心是赋值两边的元素长度不匹配：

• z_valid[col].apply(your_custom_func)返回的是所有A列='02'的行（即mask筛选后的全部行）的处理结果，长度等于mask的True数量。
• 而df.loc[((mask) & (df[col] !=0)), col]是mask范围内同时满足当前列非0的行，长度是mask且非0的行数量。

之前处理2列时没报错，大概率是这两列在mask范围内的行全部非0，两边长度刚好一致；但其他列存在mask范围内有0的行，导致两边长度不等，触发ValueError。

修复方案 #

方案一：针对每列的精确掩码处理

直接针对每列生成同时满足A='02'且当前列非0的掩码，只对这些行应用函数并赋值，保证两边长度完全一致：

mask = df['A'] == '02'
target_cols = ['B', 'C', 'D', 'E', 'F']

for col in target_cols:
    # 生成当前列的精确筛选掩码
    col_filter = mask & (df[col] != 0)
    # 仅对符合条件的行应用函数并赋值
    df.loc[col_filter, col] = df.loc[col_filter, col].apply(your_custom_func)

方案二：先处理子集再批量更新

如果自定义函数需要基于整个mask子集的上下文，也可以先处理子集里的非0行，再把结果同步回原DataFrame：

mask = df['A'] == '02'
target_cols = ['B', 'C', 'D', 'E', 'F']
# 复制子集避免修改原数据时的链式赋值警告
z_valid = df[mask].copy()

for col in target_cols:
    # 处理子集里当前列非0的行
    z_valid.loc[z_valid[col] != 0, col] = z_valid.loc[z_valid[col] != 0, col].apply(your_custom_func)

# 将处理后的子集数据更新回原DataFrame
df.loc[mask, target_cols] = z_valid[target_cols]

注意事项 #

• 把代码里的your_custom_func替换成你实际的自定义函数名，不要用def（这是Python的关键字，不能作为函数名）。
• 如果自定义函数可以实现向量化（比如用pd.Series的方法代替逐行apply），性能会比apply更好，尤其处理大数据量时。

内容的提问来源于stack exchange，提问作者so.n