You need to enable JavaScript to run this app. 如何将pandas DataFrame中的字符串拆分为bigrams并展开为新行
优惠活动
大模型
产品
解决方案
定价
更多

如何将pandas DataFrame中的字符串拆分为bigrams并展开为新行

pandas 字符串拆分为bigram并展开独立行的实现方案

核心实现步骤

1. 自定义适配姓名场景的bigram生成函数

针对中文姓名、多姓名组合的场景,生成连续二元字符组时需要先清理无意义的分隔符(空格、顿号、特殊符号),避免生成无效bigram片段,函数实现如下:

import pandas as pd
import re
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def generate_bigrams(text: str) -> list:
    # 清洗文本:仅保留中文、英文、数字字符
    clean_text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9]', '', str(text).strip())
    # 短文本单独处理,避免长度不足2时报错
    if len(clean_text) < 2:
        return [clean_text] if clean_text else []
    # 滑动窗口生成连续二元组
    return [clean_text[i:i+2] for i in range(len(clean_text)-1)]

2. 对目标列生成bigram列表并展开为独立新行

利用pandas内置的explode方法,可直接将列中存储的bigram列表拆分为独立行,原数据的其他列值会自动匹配重复,和目标输出效果一致:

# 假设原始数据集df中,存储多姓名记录的列名为name_record
# 步骤1:为每条记录生成对应bigram列表
df['bigram_collection'] = df['name_record'].apply(generate_bigrams)
# 步骤2:将列表展开为独立行
df_exploded = df.explode('bigram_collection', ignore_index=True)
# 步骤3:清理空值行,避免后续计算产生误差
df_exploded = df_exploded.dropna(subset=['bigram_collection']).reset_index(drop=True)

展开后的效果为:原始一条包含多姓名的记录,会按照bigram的数量拆分为多条独立行,每一行对应一个独立的bigram片段,原记录的关联标识(如录入ID、录入时间)会随拆分同步重复。

3. 衔接重复记录识别的后续流程

针对需要解决的姓名书写顺序差异、重复记录识别的业务目标,不需要基于展开后的逐bigram行做计算,可直接在原始记录维度将bigram作为TF-IDF的特征单元,计算记录间的余弦相似度,规避顺序差异带来的匹配偏差,示例代码:

# 初始化TF-IDF向量器,设置仅提取2字符的bigram作为特征
vectorizer = TfidfVectorizer(ngram_range=(2,2), analyzer='char', lowercase=False)
# 基于原始姓名记录生成特征矩阵
name_tfidf = vectorizer.fit_transform(df['name_record'])
# 计算所有记录两两间的余弦相似度
sim_matrix = cosine_similarity(name_tfidf)
# 自定义相似度阈值,筛选重复记录配对
similarity_threshold = 0.7
duplicate_pairs = []
for row_idx in range(len(df)):
    for col_idx in range(row_idx + 1, len(df)):
        if sim_matrix[row_idx][col_idx] >= similarity_threshold:
            duplicate_pairs.append(
                (df.iloc[row_idx]['record_id'], df.iloc[col_idx]['record_id'])
            )
# 基于配对关系做分组归并,为每个唯一个体生成标准化记录

关键注意事项

  • 文本清洗环节必须去掉姓名间的分隔符(空格、顿号、斜杠等),否则会生成类似“张 ”“ 三”的无意义bigram,大幅降低相似度计算的准确性。
  • 大样本量场景下,展开后的逐bigram行数据量会是原始数据的2-3倍,若仅用于特征提取不需要逐bigram做聚合分析,可跳过手动展开的步骤,直接用scikit-learn的参数配置实现等价的bigram特征提取,减少内存占用。
  • 相似度阈值可根据实际数据的噪声水平调整:错字率、顺序差异占比高的场景可适当降低阈值,匹配精度要求高的场景可适当提高阈值。

内容的提问来源于stack exchange,提问作者lucas winter

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.02 10:36:03