无主键跨DataFrame填充缺失值及pandas pivot报错排查

该方案全程使用pandas向量化操作，无逐行循环，千万级数据量下也能保持较高运行效率：

1. 先清洗G表，提取每个ID+Life维度符合要求的最新值
   核心逻辑是先过滤2018年日期区间的记录，按日期倒序排序后去重，保留每个ID对应每个Life的最新一条记录的Age、Name值，避免重复ID导致的关联问题。

import pandas as pd

# 日期格式转换+区间过滤
G['Date'] = pd.to_datetime(G['Date'])
g_2018 = G.query("'2018-01-01' <= Date <= '2018-12-31'").copy()

# 按日期倒序排序，去重保留每个(ID, Life)下最新的记录
g_sorted = g_2018.sort_values('Date', ascending=False)
g_latest_map = g_sorted.drop_duplicates(subset=['ID', 'Life'], keep='first')[['ID', 'Life', 'Age', 'Name']]

# 行转列对齐A表字段结构
g_pivot = g_latest_map.pivot(index='ID', columns='Life', values=['Age', 'Name'])
g_pivot.columns = [f'{metric} Life {life_id}' for metric, life_id in g_pivot.columns]
g_pivot = g_pivot.reset_index()

2. 关联A表完成空值填充
   左关联后只填充原有空值，不覆盖A表现有非空数据：

# 关联映射表
A_fill = A.merge(g_pivot, on='ID', how='left', suffixes=('', '_new'))

# 逐字段填充空值
target_cols = ['Age Life 1', 'Name Life 1', 'Age Life 2', 'Name Life 2']
for col in target_cols:
    A_fill[col] = A_fill[col].fillna(A_fill[f'{col}_new'])

# 清理临时列得到最终结果
A_final = A_fill[['ID'] + target_cols]

注意：如果G表存在同一ID同一Life下2018年无任何记录的情况，最终结果中对应字段仍会保留空值，可根据业务需求追加默认值填充逻辑

• 报错根本原因：pandas的pivot()方法强制要求(index参数指定列, columns参数指定列)的组合全局唯一，当存在重复组合时，无法确定单元格对应的值，就会抛出该长度不匹配错误。
• 你之前执行的代码rf2 = rf_filtered_test.drop('Date', axis=1).pivot(columns=['Life'], index='ID')触发报错，就是因为G表中同一个ID对应同一个Life存在多条重复记录，不满足pivot的唯一性约束。
• 两种可行修复方式：
  • 按业务规则先去重，保证(ID, Life)组合唯一后再调用pivot，也就是上面填充方案中使用的drop_duplicates()逻辑，是最贴合当前业务需求的方案。
  • 不需要提前去重的场景下，直接用pivot_table()替代pivot()，通过aggfunc参数指定重复值的聚合规则即可，不会触发长度报错，示例：

# 提前按Date倒序排序后，聚合取第一条即为最新日期对应的值
rf_sorted = rf_filtered_test.sort_values('Date', ascending=False)
rf2 = rf_sorted.pivot_table(
    index='ID',
    columns='Life',
    values=['Age', 'Name'],
    aggfunc=lambda x: x.iloc[0]
)

内容的提问来源于stack exchange，提问作者kd8