在Pandas中生成拼接列及实现精准数据合并的方法咨询

一、生成无空格大写的key_column #

直接利用Pandas字符串方法处理字段拼接，同时处理缺失值避免生成无效键：

import pandas as pd

# 处理单DataFrame的key生成
cols_to_combine = ['col_1', 'col2', 'col3', 'col4']
for col in cols_to_combine:
    # 统一格式：填充空值、转大写、去除空格
    df[col] = df[col].fillna('').str.upper().str.replace(' ', '')

# 拼接成key_column
df['key_column'] = df[cols_to_combine].agg(''.join, axis=1)

如果要同时处理两个待合并的DataFrame（df1、df2），把上述逻辑分别套用即可。

二、精准合并DataFrame并提取Solution列价格 #

1. 优先精确匹配，缩小模糊匹配范围 #

先通过key_column做精确合并，确保大部分匹配结果无误差：

# 精确合并，保留双方匹配的行
merged_exact = pd.merge(df1, df2, on='key_column', how='inner', suffixes=('_df1', '_df2'))

# 筛选出两边未匹配的行，后续仅对这部分做模糊匹配
df1_unmatched = df1[~df1['key_column'].isin(merged_exact['key_column'])]
df2_unmatched = df2[~df2['key_column'].isin(merged_exact['key_column'])]

2. 模糊匹配的精准优化（仅用于未匹配数据） #

如果必须用模糊匹配，借助fuzzywuzzy库（需先安装：pip install fuzzywuzzy python-Levenshtein），设置匹配阈值并结合辅助字段验证：

from fuzzywuzzy import process

def fuzzy_match_row(row, target_df, threshold=85):
    # 找到最相似的key，返回匹配得分
    best_match, score = process.extractOne(row['key_column'], target_df['key_column'])
    if score >= threshold:
        # 加入辅助字段验证（比如分类字段），进一步提升精度
        matched_row = target_df[target_df['key_column'] == best_match].iloc[0]
        if row['category'] == matched_row['category']: # 假设存在category辅助字段
            return matched_row['Solution']
    return None

# 给未匹配的df1添加匹配到的Solution值
df1_unmatched['Solution'] = df1_unmatched.apply(lambda x: fuzzy_match_row(x, df2_unmatched), axis=1)

# 合并精确匹配和有效模糊匹配的结果
final_merged = pd.concat([merged_exact, df1_unmatched.dropna(subset=['Solution'])])

3. 准确提取Solution列的价格 #

用正则表达式直接提取数字价格，不受文本格式影响：

# 提取整数或小数价格，兼容带货币符号、中文描述的情况
final_merged['extracted_price'] = final_merged['Solution'].str.extract(r'(\d+\.?\d*)').astype(float)

# 如果价格带货币符号，可先清理再提取
# final_merged['extracted_price'] = final_merged['Solution'].str.replace(r'[^0-9.]', '', regex=True).astype(float)

额外建议 #

• 先对所有匹配字段做标准化清洗：统一大小写、去除特殊字符、修正不一致的命名（比如把"Col-1"和"Col_1"统一格式）
• 如果存在唯一标识字段（如产品ID、订单号），优先用这些字段做精确匹配，完全规避模糊匹配的误差
• 对模糊匹配结果做抽样人工校验，调整阈值或辅助验证规则，确保精度符合要求
• 如果Solution列格式极不统一，可先提取核心关键词（如"价格""售价"）附近的数字，提升提取准确率

内容的提问来源于stack exchange，提问作者ar_mm18