如何将pandas DataFrame中的字符串拆分为bigrams并展开为新行
pandas 字符串拆分为bigram并展开独立行的实现方案
核心实现步骤
1. 自定义适配姓名场景的bigram生成函数
针对中文姓名、多姓名组合的场景,生成连续二元字符组时需要先清理无意义的分隔符(空格、顿号、特殊符号),避免生成无效bigram片段,函数实现如下:
import pandas as pd import re from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity def generate_bigrams(text: str) -> list: # 清洗文本:仅保留中文、英文、数字字符 clean_text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9]', '', str(text).strip()) # 短文本单独处理,避免长度不足2时报错 if len(clean_text) < 2: return [clean_text] if clean_text else [] # 滑动窗口生成连续二元组 return [clean_text[i:i+2] for i in range(len(clean_text)-1)]
2. 对目标列生成bigram列表并展开为独立新行
利用pandas内置的explode方法,可直接将列中存储的bigram列表拆分为独立行,原数据的其他列值会自动匹配重复,和目标输出效果一致:
# 假设原始数据集df中,存储多姓名记录的列名为name_record # 步骤1:为每条记录生成对应bigram列表 df['bigram_collection'] = df['name_record'].apply(generate_bigrams) # 步骤2:将列表展开为独立行 df_exploded = df.explode('bigram_collection', ignore_index=True) # 步骤3:清理空值行,避免后续计算产生误差 df_exploded = df_exploded.dropna(subset=['bigram_collection']).reset_index(drop=True)
展开后的效果为:原始一条包含多姓名的记录,会按照bigram的数量拆分为多条独立行,每一行对应一个独立的bigram片段,原记录的关联标识(如录入ID、录入时间)会随拆分同步重复。
3. 衔接重复记录识别的后续流程
针对需要解决的姓名书写顺序差异、重复记录识别的业务目标,不需要基于展开后的逐bigram行做计算,可直接在原始记录维度将bigram作为TF-IDF的特征单元,计算记录间的余弦相似度,规避顺序差异带来的匹配偏差,示例代码:
# 初始化TF-IDF向量器,设置仅提取2字符的bigram作为特征 vectorizer = TfidfVectorizer(ngram_range=(2,2), analyzer='char', lowercase=False) # 基于原始姓名记录生成特征矩阵 name_tfidf = vectorizer.fit_transform(df['name_record']) # 计算所有记录两两间的余弦相似度 sim_matrix = cosine_similarity(name_tfidf) # 自定义相似度阈值,筛选重复记录配对 similarity_threshold = 0.7 duplicate_pairs = [] for row_idx in range(len(df)): for col_idx in range(row_idx + 1, len(df)): if sim_matrix[row_idx][col_idx] >= similarity_threshold: duplicate_pairs.append( (df.iloc[row_idx]['record_id'], df.iloc[col_idx]['record_id']) ) # 基于配对关系做分组归并,为每个唯一个体生成标准化记录
关键注意事项
- 文本清洗环节必须去掉姓名间的分隔符(空格、顿号、斜杠等),否则会生成类似“张 ”“ 三”的无意义bigram,大幅降低相似度计算的准确性。
- 大样本量场景下,展开后的逐bigram行数据量会是原始数据的2-3倍,若仅用于特征提取不需要逐bigram做聚合分析,可跳过手动展开的步骤,直接用scikit-learn的参数配置实现等价的bigram特征提取,减少内存占用。
- 相似度阈值可根据实际数据的噪声水平调整:错字率、顺序差异占比高的场景可适当降低阈值,匹配精度要求高的场景可适当提高阈值。
内容的提问来源于stack exchange,提问作者lucas winter
相关产品推荐
相关产品推荐

