重设MultiIndex索引后非索引列值变为NaN问题排查

问题根源 #

你的代码存在两个核心匹配错误：

• 日期类型不兼容：原数据集的created_at是普通datetime类型，但你生成的日期范围idx是PeriodIndex周期类型，两者数据类型完全不同，导致reindex时没有任何匹配项，最终所有数值列（ap、qps）都返回NaN。
• 索引层级名称不匹配：新生成的new_index第一个层级未命名，而原数据索引的第一个层级名称是created_at，名称不匹配会让Pandas无法正确识别索引对应关系。

修复方案 #

只需保证新旧索引的类型、层级名称完全一致即可，以下是两种可行的修复方式：

方式1：统一为Period类型索引 #

将原数据的created_at转换为Period类型，与生成的idx类型对齐：

# 先将原数据的created_at转为日周期类型
dma_values_groupby['created_at'] = dma_values_groupby['created_at'].dt.to_period('D')

# 设置多索引
dma_values_groupby.set_index(['created_at', 'dma_description'], inplace=True)

# 获取原索引层级
(created_at_index, dma_description_index) = dma_values_groupby.index.levels

# 生成新索引时指定层级名称，与原索引保持一致
new_index = pd.MultiIndex.from_product(
    [idx, dma_description_index],
    names=['created_at', 'dma_description']
)

# 重新索引并直接填充缺失值为0
new_dma_values_df = dma_values_groupby.reindex(new_index, fill_value=0).astype(int)

方式2：统一为Datetime类型索引 #

改用pd.date_range生成datetime类型的日期范围，与原数据的日期类型保持一致：

# 生成datetime类型的完整日期范围，替代PeriodIndex
idx = pd.date_range(min(dma_values_groupby['created_at']), max(dma_values_groupby['created_at']))

# 设置原数据的多索引
dma_values_groupby.set_index(['created_at', 'dma_description'], inplace=True)

# 获取原索引层级
(created_at_index, dma_description_index) = dma_values_groupby.index.levels

# 生成新索引并指定层级名称
new_index = pd.MultiIndex.from_product(
    [idx, dma_description_index],
    names=['created_at', 'dma_description']
)

# 重新索引并填充缺失值
new_dma_values_df = dma_values_groupby.reindex(new_index, fill_value=0).astype(int)

关键提示 #

• reindex操作对索引的匹配精度要求极高，类型、名称、层级顺序任一不匹配都会导致数据无法对应。
• 使用reindex的fill_value参数可以一步完成缺失值填充，比后续调用fillna更高效。

内容的提问来源于stack exchange，提问作者cphill