基于行级特征子集匹配的Pandas DataFrame字段复制优化方案问询

嘿，这个需求用Pandas的矢量化操作完全能高效搞定，根本不用碰慢到离谱的iterrows。下面是适配你百万行大表的具体方案，全程最大化内置函数的性能：

核心思路是先基于小表的非空特征构建匹配键，快速定位大表中的候选行，再验证候选行的其余特征是否为空，全程避免循环。

步骤1：预处理小表，生成匹配标识 #

首先给Small_dataframe的每行标记出非空特征，同时生成用于匹配的唯一键：

import pandas as pd
import numpy as np

# 先定义所有特征列的范围
feature_cols = [f"feature_{i}" for i in range(1, 101)]

# 为每行记录非空特征的列表
Small_dataframe['non_null_features'] = Small_dataframe[feature_cols].apply(
    lambda x: x.dropna().index.tolist(),
    axis=1
)

# 生成匹配键：把非空特征的键值对拼接成字符串（也可以用哈希优化速度）
Small_dataframe['match_key'] = Small_dataframe.apply(
    lambda row: '|'.join([f"{col}={row[col]}" for col in row['non_null_features']]),
    axis=1
)

# 提前去重：如果小表有相同匹配键但不同object_type的行，先保留第一个
Small_dataframe = Small_dataframe.drop_duplicates(subset='match_key', keep='first')

步骤2：给大表生成相同格式的匹配键 #

对big_dataframe做同样的处理，生成能和小表对齐的匹配键：

big_dataframe['match_key'] = big_dataframe[feature_cols].apply(
    lambda x: '|'.join([f"{col}={val}" for col, val in x.dropna().items()]),
    axis=1
)

步骤3：合并表，初步匹配object_type #

通过match_key把小表的object_type关联到大表的候选行：

merged = big_dataframe.merge(
    Small_dataframe[['match_key', 'object_type', 'non_null_features']],
    on='match_key',
    how='left'
)

步骤4：验证候选行是否符合“其余特征为空”的条件 #

这一步是关键，要确保大表中匹配的行，除了小表指定的非空特征，其他特征全是None或空字符串：

def is_valid_match(row):
    # 没有匹配到小表行的直接跳过
    if pd.isna(row['non_null_features']):
        return False
    # 找出需要验证为空的特征（非空特征的补集）
    rest_features = [col for col in feature_cols if col not in row['non_null_features']]
    # 检查这些特征是否全为空（包括None和空字符串）
    return row[rest_features].isna().all() and (row[rest_features] == '').all()

# 生成验证通过的掩码
merged['valid'] = merged.apply(is_valid_match, axis=1)

# 只把验证通过的行的object_type赋值给大表，其他保持原空值
big_dataframe['object_type'] = np.where(
    merged['valid'],
    merged['object_type'],
    big_dataframe['object_type']
)

# 清理临时生成的列
big_dataframe.drop('match_key', axis=1, inplace=True)
Small_dataframe.drop(['match_key', 'non_null_features'], axis=1, inplace=True)

性能优化小技巧 #

如果百万行大表生成匹配键时速度慢，可以把字符串拼接换成哈希值，合并速度会更快：

# 替换匹配键为哈希值（元组哈希比字符串拼接高效）
Small_dataframe['match_key'] = Small_dataframe.apply(
    lambda row: hash(tuple((col, row[col]) for col in row['non_null_features'])),
    axis=1
)

big_dataframe['match_key'] = big_dataframe[feature_cols].apply(
    lambda x: hash(tuple((col, val) for col, val in x.dropna().items())),
    axis=1
)

内容的提问来源于stack exchange，提问作者jscriptor