Pandas中查找genre列有效类型并赋值到新列的方法咨询
实现方案
整体处理逻辑
- 清理genre单元格内的无效内容:移除开头的评分前缀(格式为x.x/10)、移除冗余提示文本(比如
...More Genres...、Rated...这类无意义内容) - 匹配有效类型时,优先匹配长类型字符串,避免短文本截断长类型名(比如
Action & Adventure不能被拆成单独的Action) - 按类型在原字符串中的出现顺序收集命中的有效类型,去重后拼接为标准格式的字符串存入新列
具体代码实现
首先导入依赖库:
import pandas as pd import re
第一步:定义全量有效类型匹配列表,必须按字符串长度从长到短排序,避免短匹配截断长类型:
# 根据实际匹配需求补全所有需要识别的有效类型 genres = [ 'Action & Adventure', 'Science-Fiction', 'Family', 'Fantasy', 'Anime' ] # 按长度降序排序,保证长类型优先匹配 genres_sorted = sorted(genres, key=lambda x: len(x), reverse=True)
第二步:编写单条genre文本的处理函数:
def extract_valid_genre(raw_text): # 初步清理:移除开头的评分前缀,比如 "8.3/10" cleaned_initial = re.sub(r'^\d+\.\d+/10', '', raw_text) # 移除所有冗余干扰文本 cleaned_initial = re.sub(r'\.\.\.More Genres.*|Rated.*', '', cleaned_initial, flags=re.DOTALL) # 收集所有匹配到的类型及其在文本中的位置 match_records = [] for g in genres_sorted: # 转义类型名中的特殊字符,避免正则语法报错 pattern = re.escape(g) for match in re.finditer(pattern, cleaned_initial): match_records.append( (match.start(), g) ) # 按匹配出现的先后顺序排序,去重 match_records = sorted(list(set(match_records)), key=lambda x: x[0]) final_types = [item[1] for item in match_records] # 拼接为目标格式字符串 return ', '.join(final_types)
第三步:应用函数生成新列
# 对原genre列逐行处理,结果存入新列valid_genre df['valid_genre'] = df['genre'].apply(extract_valid_genre)
关键注意事项
- 若需要调整匹配的类型范围,只需要修改
genres列表的内容即可,函数会自动完成排序和匹配逻辑 - 排序步骤是核心避坑点:如果不做长度降序,
Action & Adventure这类长字符串会被Action、Adventure这类短规则优先匹配,导致提取结果拆分错误 - 正则中使用
re.escape()可以兼容类型名里的&、-、空格这类特殊字符,避免匹配失效
内容的提问来源于stack exchange,提问作者The Singularity
相关产品推荐
相关产品推荐

