Pandas百万行数据用apply生成空调标记列过慢的解决方案
百万行规模下公交空调属性标注的优化方案
你当前使用的逐行apply逻辑耗时极高,核心原因是逐行调用Python lambda的操作属于纯Python层循环,百万行规模下会产生极高的解释器调度开销,完全没有发挥pandas的底层计算能力。可以替换为以下两种向量化方案,处理速度通常能提升10~100倍。
方案1:批量向量化字符串匹配(通用场景首选)
pandas的str系列字符串方法、np.where都基于C语言实现批量运算,没有逐行调用Python函数的额外开销,百万行数据通常毫秒级就能完成处理。
参考代码:
import numpy as np # 直接批量匹配非空调标识,生成分类列 df['ac'] = np.where( # 不区分大小写匹配"non a/c"写法,空值默认按空调类处理 df['busType'].str.contains("non a/c", case=False, na=False), "non a/c", "a/c" )
如果实际数据里存在写法变体(比如non ac、NON-AC、Non/A/C这类分隔符不统一的写法),可以把匹配规则替换为兼容正则,覆盖更多异常场景:
df['ac'] = np.where( df['busType'].str.contains( r"non[\s/-]*a[\s/-]*c", case=False, na=False, regex=True ), "non a/c", "a/c" )
方案2:唯一值映射(重复值占比高时性能最优)
公交类型字段的实际唯一取值通常远小于数据表总行数(比如100万行可能仅包含几十到几百种不同的busType值),完全可以先给所有唯一值做好分类映射,再批量映射回全表,进一步减少重复计算开销。
参考代码:
# 提取所有不重复的公交类型取值 unique_bus_types = df['busType'].dropna().unique() # 仅对少量唯一值做Python层的分类判断 type_mapping = { bus_type: "non a/c" if "non a/c" in bus_type.lower() else "a/c" for bus_type in unique_bus_types } # 批量映射回全表,空值兜底为a/c df['ac'] = df['busType'].map(type_mapping).fillna("a/c")
当字段重复度越高,这个方案的优势越明显——哪怕是千万行规模,只要唯一值数量控制在千级,总计算量也就千次级别的Python判断,剩下的全是底层向量化映射操作,几乎没有额外开销。
注意事项
- 原apply写法遇到空值会直接触发字符串处理的异常,上述所有替换方案都内置了空值兜底逻辑,不会因为字段缺失值报错
- 无需手动先对整列做转小写的中间列操作,直接使用
str.contains的case=False参数即可实现不区分大小写匹配,能减少一次不必要的全列遍历
内容的提问来源于stack exchange,提问作者user11725113
相关产品推荐
相关产品推荐

