如何自动化生成分类条件 为DataFrame字符串批量分配超50类别的新列
自动化生成匹配条件的实现方案
1. 最简化改造:零手写重复代码生成conditions
你现在逐行重复写匹配逻辑的写法,可以直接通过列表推导遍历匹配类别列表自动生成,完全不用手动列写每一行条件:
import numpy as np # 提前做一次小写转换,避免对同一列反复做格式处理 survey_state_lower = survey['state'].str.lower() # 直接遍历state_cat列表,自动生成所有匹配条件 conditions = [ survey_state_lower.str.contains('|'.join(cat_keywords), na=False) for cat_keywords in state_cat ]
这一步改造后,你后续新增州的匹配类别,只需要往state_cat列表里加对应的关键词列表就行,不用手动重复写匹配代码。
2. 适配全量美国州、海外领地、非美国输入的结构化方案
不要零散存储每个类别的关键词列表,直接用统一的映射字典管理所有匹配规则,从根源上减少维护成本:
import numpy as np import re # 键为最终要输出的分类名,值为对应匹配关键词列表 state_keyword_map = { "Alabama": ["alabama", "al"], "Alaska": ["alaska", "ak"], "New York": ["new york", "ny", "newyork"], # 按同样格式补充剩余47个州、波多黎各、关岛、美属维尔京群岛等海外领地的关键词 } # 定义兜底分类名,用来承接非美国输入、无法识别的内容 fallback_category = "Other (Unrecognized/Non-US Input)" # 提前做一次小写转换,避免对同一列反复做格式处理 survey_state_lower = survey['state'].str.lower() # 从字典自动生成匹配条件和对应分类名,不需要手动同步两个列表的顺序 choices = list(state_keyword_map.keys()) + [fallback_category] conditions = [ survey_state_lower.str.contains('|'.join(keywords), na=False) for keywords in state_keyword_map.values() ] # 补充兜底条件:所有已列州都匹配不上的内容,自动归入兜底分类 conditions.append(~np.any(conditions, axis=0)) # 执行分类 survey['state_category'] = np.select(conditions, choices)
这里的兜底逻辑可以覆盖非美国输入、拼写偏差过大无法识别、无有效州名的场景,不需要单独写判断代码。
匹配准确性优化
当前的子串匹配容易出现误判(比如把普通单词里的字母片段识别成两字母州缩写),拼正则时可以加上词边界匹配,同时对关键词里的正则特殊字符做转义,避免匹配逻辑出错:
# 带词边界、特殊字符转义的正则生成函数 def build_match_pattern(keyword_list): escaped_keywords = [re.escape(kw) for kw in keyword_list] return r'\b' + r'\b|\b'.join(escaped_keywords) + r'\b' # 替换conditions里的正则拼接逻辑 conditions = [ survey_state_lower.str.contains(build_match_pattern(keywords), na=False) for keywords in state_keyword_map.values() ]
3. 大样本量下的高效实现
当分类覆盖全量美国州+领地后,逐条件遍历的np.select方法效率会随分类数线性下降,尤其是上万条样本时,更优的方式是用带命名捕获组的正则做一次全列匹配,速度会比逐条件判断快数倍:
# 构建一次匹配所有类别的命名捕获正则 pattern_parts = [] for state_name, keyword_list in state_keyword_map.items(): keyword_pattern = build_match_pattern(keyword_list) pattern_parts.append(f'(?P<{state_name}>{keyword_pattern})') full_regex = '|'.join(pattern_parts) # 直接输出匹配结果,未匹配的自动归入兜底分类 survey['state_category'] = ( survey_state_lower .str.extract(full_regex, expand=False) .fillna(fallback_category) )
这个方案的维护成本和前面的字典映射完全一致,后续新增州、调整别名关键词,只需要修改state_keyword_map的内容,不需要改动匹配逻辑代码。而且天然覆盖了非美国输入、识别不出来的内容,自动填充为兜底分类。
内容的提问来源于stack exchange,提问作者KDBigelow5
相关产品推荐
相关产品推荐

