You need to enable JavaScript to run this app. Pandas百万行数据用apply生成空调标记列过慢的解决方案
优惠活动
大模型
产品
解决方案
定价
更多

Pandas百万行数据用apply生成空调标记列过慢的解决方案

百万行规模下公交空调属性标注的优化方案

你当前使用的逐行apply逻辑耗时极高,核心原因是逐行调用Python lambda的操作属于纯Python层循环,百万行规模下会产生极高的解释器调度开销,完全没有发挥pandas的底层计算能力。可以替换为以下两种向量化方案,处理速度通常能提升10~100倍。

方案1:批量向量化字符串匹配(通用场景首选)

pandas的str系列字符串方法、np.where都基于C语言实现批量运算,没有逐行调用Python函数的额外开销,百万行数据通常毫秒级就能完成处理。
参考代码:

import numpy as np

# 直接批量匹配非空调标识,生成分类列
df['ac'] = np.where(
    # 不区分大小写匹配"non a/c"写法,空值默认按空调类处理
    df['busType'].str.contains("non a/c", case=False, na=False),
    "non a/c",
    "a/c"
)

如果实际数据里存在写法变体(比如non ac、NON-AC、Non/A/C这类分隔符不统一的写法),可以把匹配规则替换为兼容正则,覆盖更多异常场景:

df['ac'] = np.where(
    df['busType'].str.contains(
        r"non[\s/-]*a[\s/-]*c",
        case=False,
        na=False,
        regex=True
    ),
    "non a/c",
    "a/c"
)

方案2:唯一值映射(重复值占比高时性能最优)

公交类型字段的实际唯一取值通常远小于数据表总行数(比如100万行可能仅包含几十到几百种不同的busType值),完全可以先给所有唯一值做好分类映射,再批量映射回全表,进一步减少重复计算开销。
参考代码:

# 提取所有不重复的公交类型取值
unique_bus_types = df['busType'].dropna().unique()
# 仅对少量唯一值做Python层的分类判断
type_mapping = {
    bus_type: "non a/c" if "non a/c" in bus_type.lower() else "a/c"
    for bus_type in unique_bus_types
}
# 批量映射回全表,空值兜底为a/c
df['ac'] = df['busType'].map(type_mapping).fillna("a/c")

当字段重复度越高,这个方案的优势越明显——哪怕是千万行规模,只要唯一值数量控制在千级,总计算量也就千次级别的Python判断,剩下的全是底层向量化映射操作,几乎没有额外开销。

注意事项

  • 原apply写法遇到空值会直接触发字符串处理的异常,上述所有替换方案都内置了空值兜底逻辑,不会因为字段缺失值报错
  • 无需手动先对整列做转小写的中间列操作,直接使用str.contains的case=False参数即可实现不区分大小写匹配,能减少一次不必要的全列遍历

内容的提问来源于stack exchange,提问作者user11725113

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 02:24:03