Pandas Pivot Table无值返回：如何修正以生成正常透视表？

我有一个Pandas DataFrame df，数据来源于指定URL的Excel文件，处理后的数据样式如图所示。执行以下代码后，生成的透视表仅包含Date列，无对应数值列：

import pandas as pd
url = "https://www-genesis.destatis.de/genesisWS/rest/2020/data/tablefile?username=DEB924AL95&password=P@ssword1234&name=42153-0002&area=all&compress=false&transpose=false&startyear=1900&endyear=&timeslices=&regionalvariable=&regionalkey=&classifyingvariable1=WERT03&classifyingkey1=BV4TB&classifyingvariable2=WZ08V2&classifyingkey2=&classifyingvariable3=&classifyingkey3=&format=xlsx&job=false&stand=01.01.1970&language=en"

df = pd.read_excel(url, engine='openpyxl')

df = df.iloc[5:-3]
df.columns = ['Variable', 'Date', 'Value']
m = df['Date'].isna()

df['Date'] += '-' + df['Variable'].ffill()
df['Variable'] = df['Variable'].where(m).ffill()

df

import numpy as np
# Reshape your dataframe
out = (df[~m].replace('...', np.nan)
             .pivot_table(index='Date', columns='Variable',
                          values='Value', sort=False)
             .reset_index().rename_axis(columns=None))

out

返回结果如下：

Date
0   January-1991
1   February-1991
2   March-1991
3   April-1991

请问需要进行哪些修改才能让透视表正常返回数值？

问题根源在于两点：一是Value列未转换为数值类型，导致透视表无法识别有效数值；二是原数据处理逻辑中Variable与Date的赋值混淆，分组标识异常。以下是具体修改方案：

修正步骤 #

1. 先将Value列转换为数值型，自动将非数值内容转为NaN
2. 调整Variable和Date的填充逻辑，确保分组标识与日期拼接准确
3. 为透视表指定明确的聚合函数，保证数值正常提取

修正后完整代码 #

import pandas as pd
import numpy as np

url = "https://www-genesis.destatis.de/genesisWS/rest/2020/data/tablefile?username=DEB924AL95&password=P@ssword1234&name=42153-0002&area=all&compress=false&transpose=false&startyear=1900&endyear=&timeslices=&regionalvariable=&regionalkey=&classifyingvariable1=WERT03&classifyingkey1=BV4TB&classifyingvariable2=WZ08V2&classifyingkey2=&classifyingvariable3=&classifyingkey3=&format=xlsx&job=false&stand=01.01.1970&language=en"

df = pd.read_excel(url, engine='openpyxl')

# 截取有效数据行并设置列名
df = df.iloc[5:-3]
df.columns = ['Variable', 'Date', 'Value']

# 标记Date为空的分组头行
m = df['Date'].isna()

# 填充分组变量：将分组头的Variable值向下填充到数据行
df['Variable'] = df['Variable'].where(m).ffill()

# 提取年份并拼接至Date列
df['Year'] = df['Variable'].where(m).ffill()
df.loc[~m, 'Date'] = df.loc[~m, 'Date'] + '-' + df.loc[~m, 'Year']

# 将Value列转换为数值类型，无法转换的内容设为NaN
df['Value'] = pd.to_numeric(df['Value'], errors='coerce')

# 生成透视表，指定聚合函数提取数值
out = (df[~m]
       .pivot_table(index='Date', columns='Variable',
                    values='Value', sort=False, aggfunc='first')
       .reset_index().rename_axis(columns=None))

print(out)

关键修改说明 #

• 数值类型转换：用pd.to_numeric强制转换Value列，解决原代码中仅替换...但未改变数据类型的问题，让透视表能识别数值。
• 分组逻辑修正：先完成Variable的分组填充，再单独处理Date的年份拼接，避免原逻辑中变量交叉赋值导致的分组混乱。
• 聚合函数指定：添加aggfunc='first'，确保每个Date-Variable组合能正确提取对应数值（可根据需求替换为mean、sum等其他聚合函数）。

内容的提问来源于stack exchange，提问作者prashanth manohar