pandas使用pivot_table后同主体年份值分散多行带空值,如何合并为单行?
pivot 透视结果分散空值多的修复方案
核心问题原因
你当前得到分散行、大量空值的核心原因,是透视时错误将index列纳入了行索引维度。
从原始数据逻辑看,每一组col_1到col_5完全一致的主体,对应3个不同年度的观测值,每个观测值附带独立的行序号index(例如Company X的2019年观测对应index=1、2018年观测对应index=2、2017年观测对应index=3)。当你把index也设置为行索引的一部分时,pivot_table会将这三个带不同index值的行判定为完全独立的分组,自然无法将同主体的年度值聚合到同一行,最终就会出现每行仅单个年度有值、其余全为空的结果。
修正后的代码逻辑
调整透视参数时,仅将需要作为合并分组依据的主体列放入index参数,移除索引列表中多余的index字段即可:
df = pd.pivot_table( df, index=['col_1', 'col_2', 'col_3', 'col_4', 'col_5'], columns='year', values='value' ).reset_index() df.columns.name = None
修正后的输出结果
调整后会得到按主体合并的年度宽表:
| col_1 | col_2 | col_3 | col_4 | col_5 | 2017 | 2018 | 2019 |
|---|---|---|---|---|---|---|---|
| Company X | category 1 | A Ltd. | 1234 | CAD | -1.073418 | -1.381539 | -0.788363 |
| Company Y | category 1 | B Ltd. | 4321 | USD | -2.243862 | -2.839125 | -1.475593 |
注意事项
- 如果确实需要保留原表的
index字段信息,不要将其纳入行索引维度,可以在透视完成后通过col_1等关联键做匹配合并。 - 如果同主体同年度存在多个value值,
pivot_table默认会对value做均值聚合,可根据实际需求通过aggfunc参数调整聚合规则(例如取首行值、求和等)。
内容的提问来源于stack exchange,提问作者Confused_Lass13
相关产品推荐
相关产品推荐

