You need to enable JavaScript to run this app. Pandas如何实现DataFrame列分词拆分并匹配对应类别生成新DataFrame
优惠活动
大模型
产品
解决方案
定价
更多

Pandas如何实现DataFrame列分词拆分并匹配对应类别生成新DataFrame

拆分文本列匹配原分类的最优实现

目前pandas生态下,兼顾运行性能、写法简洁度和结果准确性的最优方案为字符串拆分+内置行炸开(explode),全流程为向量化操作,无Python层逐行循环,处理效率远高于apply逐行处理、手动拼接列表的方案。

核心实现逻辑

  1. 调用str.split()方法,将names列按空格拆分为独立分词组成的列表
  2. 调用explode()方法,把每行的分词列表逐元素拆分为独立行,原行对应的category值会自动同步复制到每个拆分出的新行,无需手动编写分类匹配逻辑。

完整可运行代码

import pandas as pd
# 构造原始示例DataFrame
df = pd.DataFrame({'category': [1,2,1], 'names' : ['ab c', 's', 'dm ab aaa']})

# 核心处理:链式调用,不修改原始DataFrame
# ignore_index=True 将拆分后的行索引重置为连续整数,和目标结构完全匹配
result = df.assign(names=df['names'].str.split()).explode('names', ignore_index=True)

运行后得到的result输出与需求目标完全一致:

indexcategorynames
01ab
11c
22s
31dm
41ab
51aaa

方案核心优势

  • 性能领先:全流程为pandas底层优化的向量化运算,处理十万级、百万级规模数据时,比逐行apply的实现方式快10~100倍
  • 结果可靠:explode会自动复用原行所有非拆分列的取值,不存在手动匹配过程中可能出现的分类错配问题
  • 兼容边界场景:如果某行的names为空字符串、或无空格分隔,拆分得到空列表时,explode会自动过滤该行,不需要额外编写异常判断逻辑
  • 无副作用:通过assign方法生成拆分后的列表列,不会修改原始DataFrame的结构和内容

历史版本兼容提示:pandas 0.25版本才正式引入内置explode方法,若使用更早的旧版本,可通过stack操作实现等价逻辑,但因涉及逐行生成Series的操作,性能远低于内置实现,仅适合旧环境临时使用,不推荐在新版pandas中采用。


内容的提问来源于stack exchange,提问作者Roman Kazmin

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.05 20:54:03