Pandas大DataFrame按列名引用取值替换的高效实现方法
高效实现方案
现有方案运行慢的核心原因:逐行apply本身就是Python级别的循环,叠加eval的字符串动态解析开销,哪怕配合swifter做并行加速,也没法从根本上消除逐行处理的额外开销;同时eval的动态代码执行逻辑,在面对不可信输入时还有安全风险。
可以采用完全矢量化的numpy索引逻辑实现需求,全程没有逐行Python回调,大表规模下速度比现有方案快1~2个数量级。
核心实现思路
- 提取所有需要参与引用取值的候选列(即示例中的A、B、C列,也就是存储列名的
Column列之外的目标值列),转换为numpy二维数组 - 给每个候选列建立「列名-整数索引」的映射关系,把每一行存储的列名字符串批量转换为对应的列整数坐标
- 用numpy花式索引,一次性匹配所有行对应的行列坐标,直接取出目标值覆盖原
Column列
可直接运行的示例代码
import pandas as pd import numpy as np # 构造对应示例数据 df = pd.DataFrame({ 'A': [1,2,3], 'B': [3,5,5], 'C': [4,3,9], 'Column': ['B','A','C'] }) # 定义参与取值的候选列范围 value_cols = ['A', 'B', 'C'] # 建立列名到整数索引的映射 col_pos_map = {col: idx for idx, col in enumerate(value_cols)} # 批量将每行的引用列名转换为对应列的整数位置 row_target_col_pos = df['Column'].map(col_pos_map).to_numpy() # 生成行号索引,配合列位置一次性提取所有目标值 df['Column'] = df[value_cols].to_numpy()[np.arange(len(df)), row_target_col_pos]
大表场景优化
如果你的DataFrame体量达到百万行级别,可进一步跳过普通字符串映射的中间步骤,用Categorical类型完成列索引转换,进一步降低内存占用和转换耗时:
# 大表优化版列索引转换逻辑 cat = pd.Categorical(df['Column'], categories=value_cols) row_target_col_pos = cat.codes df['Column'] = df[value_cols].to_numpy()[np.arange(len(df)), row_target_col_pos]
性能参考
- 原
apply+eval方案:百万行规模下运行通常需要数十秒甚至更长时间 - 上述矢量化方案:百万行规模下运行仅需几十到几百毫秒,无逐行Python循环、无字符串动态解析的额外开销
内容的提问来源于stack exchange,提问作者Kaynef21
相关产品推荐
相关产品推荐

