Python如何高效识别单列DataFrame字符串任意位置的数字递增模式
跨字符串数字递增规律识别实现方案
核心匹配逻辑
针对递增规律可能出现在字符串任意位置的问题,核心思路是通过结构化切分减少无效比对,再定位跨条目的连续数字序列,具体规则如下:
- 对每个字符串用正则切分为连续的字母片段、数字片段,生成对应结构标识(按片段顺序记录每个片段是字母类型还是数字类型)
- 优先将结构标识完全一致的字符串分到同一组:结构不同的字符串无法完成位置对齐,直接跳过比对,大幅降低计算复杂度
- 对同结构组内的字符串逐位检查数字片段:
- 校验同序列内所有字母片段的内容必须完全固定,避免误匹配不同前缀/后缀的字符串
- 提取目标位置的数字值,检查是否存在长度达到阈值、相邻差值固定的连续递增序列
- 匹配过程不要求递增片段在字符串的固定字符偏移位置,只要在同结构组内的对应片段位置存在数字递增,即可被识别。
可直接运行的实现代码
import pandas as pd import re from collections import defaultdict def split_string_segments(s: str) -> tuple: """将单字符串切分为连续的字母/数字片段,返回结构标识与片段详情""" segments = [] pattern = re.compile(r'(\d+|[a-zA-Z]+)') for match in pattern.finditer(s): seg_content = match.group() seg_type = 'num' if seg_content.isdigit() else 'alpha' segments.append( (seg_type, seg_content) ) # 结构标识:按顺序记录每个片段的类型,例如('alpha','num','alpha','num') struct_key = tuple([seg[0] for seg in segments]) return struct_key, segments def detect_increment_pattern(df: pd.DataFrame, col_name: str, min_seq_len: int =3, step:int=1) -> list: # 第一步:按字符串结构分组 struct_groups = defaultdict(list) for idx, s in df[col_name].items(): struct_key, segments = split_string_segments(s) struct_groups[struct_key].append( (idx, segments) ) valid_patterns = [] for struct_key, items in struct_groups.items(): # 组内条目数达不到最小序列长度要求,直接跳过 if len(items) < min_seq_len: continue # 定位所有属于数字类型的片段位置 num_seg_pos = [pos for pos, seg_type in enumerate(struct_key) if seg_type == 'num'] # 逐数字位置检查递增规律 for pos in num_seg_pos: # 提取每个条目的对应数字值、固定字母键 pos_info = [] for row_idx, segs in items: num_val = int(segs[pos][1]) # 固定字母键:所有非检查位置的字母片段内容,不要求其他数字段固定 alpha_fixed = tuple([ seg[1] for seg_idx, seg in enumerate(segs) if seg_idx != pos and seg[0] == 'alpha' ]) pos_info.append( (row_idx, num_val, alpha_fixed) ) # 按固定字母键分组,组内检查连续递增序列 fixed_groups = defaultdict(list) for row_idx, num_val, alpha_key in pos_info: fixed_groups[alpha_key].append( (row_idx, num_val) ) for alpha_key, group_vals in fixed_groups.items(): # 组内条目数不够要求,跳过 if len(group_vals) < min_seq_len: continue # 按数字值排序 sorted_vals = sorted(group_vals, key=lambda x: x[1]) # 扫描连续差为step的序列 current_seq = [sorted_vals[0]] for i in range(1, len(sorted_vals)): if sorted_vals[i][1] - current_seq[-1][1] == step: current_seq.append(sorted_vals[i]) else: # 找到符合长度要求的序列则记录 if len(current_seq) >= min_seq_len: valid_patterns.append({ 'sequence_length': len(current_seq), 'fixed_alpha_part': alpha_key, 'increment_segment_index': pos, 'start_value': current_seq[0][1], 'end_value': current_seq[-1][1], 'matched_row_indices': [item[0] for item in current_seq] }) current_seq = [sorted_vals[i]] # 处理循环结束后最后一段序列 if len(current_seq) >= min_seq_len: valid_patterns.append({ 'sequence_length': len(current_seq), 'fixed_alpha_part': alpha_key, 'increment_segment_index': pos, 'start_value': current_seq[0][1], 'end_value': current_seq[-1][1], 'matched_row_indices': [item[0] for item in current_seq] }) return valid_patterns # 用示例数据测试 if __name__ == "__main__": sample_df = pd.DataFrame({'str_col': [ 'ebe120xg21', 'ebe121xg22', 'vpq17laos', 'fvut10hals', 'ebe122xg23' ]}) match_result = detect_increment_pattern(sample_df, 'str_col') print(match_result)
运行示例代码后,输出的结果会匹配到两条有效递增规律:
- 片段索引1的数字段,固定字母部分为
ebe、xg,数字从120连续递增到122,匹配行索引为[0,1,4] - 片段索引3的数字段,固定字母部分为
ebe、xg,数字从21连续递增到23,匹配行索引为[0,1,4]
大体积数据适配优化
- 十万行以上规模的数据集,可将逐行循环切分替换为pandas自带的正则向量化方法,性能可提升10~100倍
- 可通过函数入参自定义最小序列长度、递增步长,适配序列号步长非1、短序列过滤等场景,无需修改核心匹配逻辑
- 可提前按字符串总长度做预分组,避免不同长度的字符串进入后续结构比对环节,减少不必要的计算
内容的提问来源于stack exchange,提问作者kanataki
相关产品推荐
相关产品推荐

