Pandas合并已排序DataFrame时为C列缺失块填充唯一标识

咱们一步步来搞定这个需求：先合并两个已排序的DataFrame，再给C列的连续缺失块按规则填充唯一标识。

1. 先完成DataFrame的合并 #

既然两个DataFrame已经按A和B列排好序了，直接用pandas.merge就很高效。这里假设你需要保留两个表的所有行（如果只需要共同行，把how='outer'改成how='inner'就行）；另外如果两个表都有C列，咱们先把它们合并成一个C列，优先取第一个表的C值，缺失的话用第二个表的补：

import pandas as pd
import numpy as np

# 假设你的两个DataFrame是df1和df2
merged_df = pd.merge(df1, df2, on=['A', 'B'], how='outer', suffixes=('_df1', '_df2'), sort=False)
# 合并C列：优先用df1的C，缺失的话补df2的
merged_df['C'] = merged_df['C_df1'].combine_first(merged_df['C_df2'])
# 删掉临时生成的后缀列
merged_df = merged_df.drop(columns=['C_df1', 'C_df2'])

这里加个sort=False是因为两个表已经排好序了，不用再重新排序，能省不少时间。

2. 标记需要填充的缺失块 #

接下来要精准定位哪些缺失值需要填充：只有C列缺失，同时其他列（除了A、B、C）有非缺失数据的行，而且要把连续的这类缺失当成一个块，给每个块分配唯一编号。

第一步：先判断哪些行有其他列的数据 #

先把除了A、B、C之外的列找出来，然后标记每行是否有这些列的非缺失值：

# 筛选出A、B、C之外的所有列
other_cols = [col for col in merged_df.columns if col not in ['A', 'B', 'C']]
# 标记该行是否存在其他列的有效数据
merged_df['has_other_data'] = merged_df[other_cols].notna().any(axis=1)

第二步：给连续缺失块分配唯一ID #

现在要把连续的、符合条件的缺失行分成不同的块，给每个块一个独有的编号：

# 生成掩码：C列缺失，且该行有其他列的数据
missing_mask = merged_df['C'].isna() & merged_df['has_other_data']
# 给连续的缺失块编唯一号：当当前行和前一行的掩码状态变化时，编号+1，只给符合条件的行分配编号
merged_df['block_id'] = (missing_mask != missing_mask.shift()).cumsum() * missing_mask.astype(int)

3. 填充唯一缺失标识 #

最后把每个块的编号转换成你要的na_uniqueNumber格式，填充到C列对应的位置：

# 给符合条件的缺失行填充唯一标识，其他行保持原样
merged_df['C'] = merged_df.apply(
    lambda row: f'na_{row["block_id"]}' if row['block_id'] != 0 else row['C'],
    axis=1
)
# 清理掉中间用的临时列
merged_df = merged_df.drop(columns=['has_other_data', 'block_id'])

几个关键点说明 #

• 连续块的判断：通过对比当前行和前一行的掩码状态，能准确识别连续缺失块的边界，用cumsum()生成的编号保证每个块唯一。
• 严格的填充条件：只有当其他列有数据时才填充，避免给完全空的行加不必要的标识。
• 合并效率优化：因为两个表已经按合并键排序，关闭sort参数能大幅提升合并速度，尤其是数据量大的时候。

内容的提问来源于stack exchange，提问作者everestial