如何使用Pandas将宽格式年度数据集转换为长格式时间序列

解决方案 #

你需要的是宽表转长表操作，直接用pandas内置的melt方法即可实现，完整可运行代码如下：

import pandas as pd

# 修正后的示例数据构建（原示例代码缺字符串引号和闭括号，这里补全）
df = pd.DataFrame({
    'ID': ['ABCD', 'EFGH', 'IJKL'], 
    'value90': [1, 6, 11], 
    'value91': [2,7,12], 
    'value92': [3,8,13], 
    'value93': [4,9,14], 
    'value16': [5,10,15]
})

# 宽表转长表，保留ID为固定标识，展开所有年份值列
df_long = df.melt(
    id_vars='ID',
    var_name='raw_year_col',
    value_name='value'
)

# 处理年份格式：将valuexx格式转为四位年份，适配1990-2016的范围
df_long['year_suffix'] = df_long['raw_year_col'].str.replace('value', '').astype(int)
df_long['Year'] = df_long['year_suffix'].apply(lambda x: 1900 + x if x >=20 else 2000 +x)

# 筛选需要的列、按ID和年份排序得到最终结果
result = df_long[['Year', 'ID', 'value']].sort_values(by=['ID', 'Year']).reset_index(drop=True)

运行后result就是你需要的输出格式。如果你的数据范围超过1990-2016，调整年份判断的阈值即可；如果需要剔除空值，在最后一步前加.dropna(subset=['value'])即可。

内容的提问来源于stack exchange，提问作者panino00