Python中多个重复Lambda表达式的简化优化方案咨询

现有代码问题 #

你当前的代码存在三个明显可优化的点：

• 大量重复的apply+Lambda逻辑，冗余度极高，后续维护成本大
• 存在手动复制粘贴导致的bug：第二个assign块中连续三次覆盖了A_mind_label字段，前两次的赋值会被最后一次的逻辑覆盖；最后一列A_smind_score明显是拼写错误
• 生成了result_1到result_6的中间列，如果后续不需要这些字段会造成不必要的内存占用

最优实现方案 #

用循环批量构造assign需要的参数字典是最直接、可读性最高的方案，完全不需要逐行写重复的Lambda逻辑，后续新增处理规则只要修改配置项即可。

实现步骤 #

1. 先定义处理规则的配置映射，把所有要处理的源列、函数前缀、对应处理函数统一维护：

# 配置项格式：(源列名, 结果前缀, 处理函数)
process_config = [
    ("body", "A", function1),
    ("body", "B", function2),
    ("body", "C", function3),
    ("mind", "A", function1),
    ("mind", "B", function2),
    ("mind", "C", function3),
]

2. 循环生成所有需要的字段，一次性传给assign：

assign_dict = {}
for source_col, prefix, func in process_config:
    # 直接一步生成label和score，不需要中间result列
    assign_dict[f"{prefix}_{source_col}_label"] = lambda df, col=source_col, f=func: df[col].apply(lambda s: f(s)[0]["label"])
    assign_dict[f"{prefix}_{source_col}_score"] = lambda df, col=source_col, f=func: df[col].apply(lambda s: f(s)[0]["score"])

# 一次性生成所有列
df = df.assign(**assign_dict)

注：Lambda里加col=source_col, f=func默认参数是为了规避Python闭包延迟绑定的问题，避免所有逻辑都调用最后一次循环的变量值

额外优化建议 #

如果你的数据量较大，可以进一步优化性能：

• 优先把function1/2/3改成支持向量化处理的逻辑，替换掉逐行遍历的apply，性能可以提升几十到上百倍
• 如果处理函数是字符串相关逻辑，优先用Pandas自带的str系列方法，原生支持向量化运算

内容的提问来源于stack exchange，提问作者codedancer