You need to enable JavaScript to run this app. Pandas中查找genre列有效类型并赋值到新列的方法咨询
优惠活动
大模型
产品
解决方案
定价
更多

Pandas中查找genre列有效类型并赋值到新列的方法咨询

实现方案

整体处理逻辑

  • 清理genre单元格内的无效内容:移除开头的评分前缀(格式为x.x/10)、移除冗余提示文本(比如...More Genres...、Rated...这类无意义内容)
  • 匹配有效类型时,优先匹配长类型字符串,避免短文本截断长类型名(比如Action & Adventure不能被拆成单独的Action)
  • 按类型在原字符串中的出现顺序收集命中的有效类型,去重后拼接为标准格式的字符串存入新列

具体代码实现

首先导入依赖库:

import pandas as pd
import re

第一步:定义全量有效类型匹配列表,必须按字符串长度从长到短排序,避免短匹配截断长类型:

# 根据实际匹配需求补全所有需要识别的有效类型
genres = [
    'Action & Adventure',
    'Science-Fiction',
    'Family',
    'Fantasy',
    'Anime'
]
# 按长度降序排序,保证长类型优先匹配
genres_sorted = sorted(genres, key=lambda x: len(x), reverse=True)

第二步:编写单条genre文本的处理函数:

def extract_valid_genre(raw_text):
    # 初步清理:移除开头的评分前缀,比如 "8.3/10"
    cleaned_initial = re.sub(r'^\d+\.\d+/10', '', raw_text)
    # 移除所有冗余干扰文本
    cleaned_initial = re.sub(r'\.\.\.More Genres.*|Rated.*', '', cleaned_initial, flags=re.DOTALL)
    
    # 收集所有匹配到的类型及其在文本中的位置
    match_records = []
    for g in genres_sorted:
        # 转义类型名中的特殊字符,避免正则语法报错
        pattern = re.escape(g)
        for match in re.finditer(pattern, cleaned_initial):
            match_records.append( (match.start(), g) )
    
    # 按匹配出现的先后顺序排序,去重
    match_records = sorted(list(set(match_records)), key=lambda x: x[0])
    final_types = [item[1] for item in match_records]
    
    # 拼接为目标格式字符串
    return ', '.join(final_types)

第三步:应用函数生成新列

# 对原genre列逐行处理,结果存入新列valid_genre
df['valid_genre'] = df['genre'].apply(extract_valid_genre)

关键注意事项

  • 若需要调整匹配的类型范围,只需要修改genres列表的内容即可,函数会自动完成排序和匹配逻辑
  • 排序步骤是核心避坑点:如果不做长度降序,Action & Adventure这类长字符串会被Action、Adventure这类短规则优先匹配,导致提取结果拆分错误
  • 正则中使用re.escape()可以兼容类型名里的&、-、空格这类特殊字符,避免匹配失效

内容的提问来源于stack exchange,提问作者The Singularity

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.02 12:54:05