求助：Pandas重塑含多字段块的DataFrame时丢失条目

核心问题分析 #

你遇到的问题是宽表转长表时，没有正确识别每组字段块的关联关系，导致部分数据块被遗漏。下面结合模拟场景给出修正方案：

模拟原始数据结构 #

假设你的原始DataFrame是带编号后缀的重复字段块结构（比如initpen_1、initpen_2对应不同组）：

import pandas as pd

df = pd.DataFrame({
    'Reference': ['REF001', 'REF002'],
    'initpen_1': [100, 200],
    'incpen_1': [10, 20],
    'benid_1': ['B01', 'B02'],
    'ppbeid_1': ['P01', 'P02'],
    'state_1': ['CA', 'NY'],
    'initpen_2': [150, 250],
    'incpen_2': [15, 25],
    'benid_2': ['B03', 'B04'],
    'ppbeid_2': ['P03', 'P04'],
    'state_2': ['TX', 'FL']
})

正确重塑代码 #

使用pd.wide_to_long专门处理这种带编号的重复字段块，它能自动关联同组的5个字段：

# 执行重塑，识别字段块的编号后缀
reshaped_df = pd.wide_to_long(
    df,
    stubnames=['initpen', 'incpen', 'benid', 'ppbeid', 'state'],  # 字段块的前缀名称
    i='Reference',  # 作为分组依据的主键列
    j='block_group',  # 新增列标记当前是第几组块（可按需删除）
    sep='_',  # 前缀与编号的分隔符
    suffix=r'\d+'  # 匹配数字编号的正则规则
).reset_index()

# 若不需要分组标记列，可删除
reshaped_df = reshaped_df.drop('block_group', axis=1)

期望输出结果 #

Reference  initpen  incpen benid ppbeid state
0    REF001      100      10   B01    P01    CA
1    REF001      150      15   B03    P03    TX
2    REF002      200      20   B02    P02    NY
3    REF002      250      25   B04    P04    FL

常见错误排查 #

1. 错误使用melt：如果之前用普通melt未指定分组逻辑，会导致同组的initpen、incpen等字段值无法关联，丢失对应关系
2. 字段命名不统一：如果你的字段没有下划线分隔（比如initpen1），只需把sep参数设为空字符串，suffix=r'\d+'依然生效
3. 缺失值过滤：如果原始数据存在缺失值，可在wide_to_long中添加dropna=False参数，避免缺失组被自动丢弃

内容的提问来源于stack exchange，提问作者R41nMak3R