Python复刻R mutate+case_when正则列生成及解决ValueError报错
报错原因拆解
- 触发的
ValueError根源是把df['text'].str.contains()的返回值直接作为if判断条件:该方法返回的是和DataFrame行数完全一致的布尔Series,不是单个布尔值,Python无法在判断时明确你要取列内任意命中、全部命中还是逐行处理,就会触发“Series真值歧义”的报错。 - 你要实现的R中
mutate + map + case_when的逐行多分支匹配逻辑,可通过pandas的内置能力1:1复刻,严格保留原正则的匹配顺序、提取规则、兜底逻辑。
实现方案(小样本快速调试版)
逐行遍历文本列,按原R的分支优先级顺序匹配,命中即执行对应提取逻辑,完全对齐R的执行效果:
import pandas as pd import re # 严格按原R代码的分支顺序定义规则,顺序不可调换,命中即终止后续匹配 rule_chain = [ # 分支1:匹配数字后接m/M、空格/等号后接数字的场景,提取对应数字 ( lambda text: bool(re.search(r'(?<=\d)\s*[Mm](?:\s|=)*\d+', text)), lambda text: re.sub(r'[Mm]', '', re.search(r'(?<=\d)\s*[Mm](?:\s|=)*\d+', text).group()).strip() ), # 分支2:匹配Barr相关的两个两位cm数值区间,计算绝对值差值 ( lambda text: bool(re.search( r'(?=[^.]*[Bb]arr)[^.]*\s+\d{2}\s*[cm]*\s*(to |-| and)\s*\d{2}\s*[cm]*\s*', text, flags=re.IGNORECASE )), lambda text: str(abs( int(re.findall(r'\d{2}', re.search( r'(?=[^.]*[Bb]arr)[^.]*\s+\d{2}\s*[cm]*\s*(to |-| and)\s*\d{2}\s*[cm]*\s*', text, flags=re.IGNORECASE ).group())[0]) - int(re.findall(r'\d{2}', re.search( r'(?=[^.]*[Bb]arr)[^.]*\s+\d{2}\s*[cm]*\s*(to |-| and)\s*\d{2}\s*[cm]*\s*', text, flags=re.IGNORECASE ).group())[1]) )) ), # 分支3:匹配同时含cm、Bar、of/length的分句,提取分句内的数字 ( lambda text: bool(re.search( r'(?=[^.]*cm)(?=[^.]*[Bb]arr)(?=[^.]*(of |length))[^.]*', text )), lambda text: re.search( r'\d+', re.search(r'(?=[^.]*cm)(?=[^.]*[Bb]arr)(?=[^.]*(of |length))[^.]*', text).group() ).group() ), # 分支4:匹配分句/换行边界内带small/tiny/tongue/finger + Barr的场景,返回固定值1 ( lambda text: bool(re.search( r'(\.|^|\n)(?=[^.]*(small|tiny|tongue|finger))(?=[^.]*[Bb]arr)[^.]*(\.|\n|$)', text )), lambda text: "1" ), # 兜底分支,对应R里的TRUE条件 ( lambda text: True, lambda text: "Insufficient" ) ] # 逐行生成MStage列 df['MStage'] = df['mytext'].apply( lambda row_text: next(extract_logic for (match_logic, extract_logic) in rule_chain if match_logic(row_text)) )
实现方案(大样本高性能版)
逐行apply的方式在十万行以上的数据集上性能会偏低,可改用pandas向量化操作+np.select实现,逻辑和上面的规则完全一致,运行速度会快一个数量级:
import numpy as np import re import pandas as pd # 预计算每个分支的匹配掩码 mask1 = df['mytext'].str.contains(r'(?<=\d)\s*[Mm](?:\s|=)*\d+', regex=True) value1 = df['mytext'].str.extract(r'(?<=\d)\s*[Mm](?:\s|=)*(\d+)')[0] mask2 = df['mytext'].str.contains( r'(?=[^.]*[Bb]arr)[^.]*\s+\d{2}\s*[cm]*\s*(to |-| and)\s*\d{2}\s*[cm]*\s*', regex=True, flags=re.IGNORECASE ) extracted_interval = df['mytext'].str.extract( r'(?=[^.]*[Bb]arr)[^.]*\s+(\d{2})\s*[cm]*\s*(?:to |-| and)\s*(\d{2})\s*[cm]*\s*' ) value2 = (extracted_interval[0].astype(int) - extracted_interval[1].astype(int)).abs().astype(str) mask3 = df['mytext'].str.contains( r'(?=[^.]*cm)(?=[^.]*[Bb]arr)(?=[^.]*(of |length))[^.]*', regex=True ) value3 = df['mytext'].str.extract( r'(?=[^.]*cm)(?=[^.]*[Bb]arr)(?=[^.]*(of |length))[^.]*?(\d+)' )[0] mask4 = df['mytext'].str.contains( r'(\.|^|\n)(?=[^.]*(small|tiny|tongue|finger))(?=[^.]*[Bb]arr)[^.]*(\.|\n|$)', regex=True ) value4 = "1" # 按优先级顺序组合结果,完全对齐R case_when的分支优先级 df['MStage'] = np.select( condlist=[mask1, mask2, mask3, mask4], choicelist=[value1, value2, value3, value4], default="Insufficient" )
关键注意事项
- 分支匹配的顺序绝对不能调换,必须和原R代码的优先级保持一致,否则会出现低优先级规则覆盖高优先级匹配的问题。
- Python的
re模块原生支持正则的正向/反向预查语法,和R里开启perl=TRUE的正则行为完全对齐,不需要额外配置。 - 涉及大小写不敏感的匹配,需要显式传入
re.IGNORECASE参数,对应R里的ignore.case=TRUE设置,否则会出现匹配偏差。
内容的提问来源于stack exchange,提问作者Sebastian Zeki
相关产品推荐
相关产品推荐

