You need to enable JavaScript to run this app. 如何在Python中高效将pandas宽表DataFrame转为排除0值的长表
优惠活动
大模型
产品
解决方案
定价
更多

如何在Python中高效将pandas宽表DataFrame转为排除0值的长表

Pandas 宽表转长表(过滤0值)的高效实现方案

完全可以借助pandas原生的宽转长接口实现,全程都是底层向量化运算,没有逐行Python循环,处理效率远高于手动遍历,哪怕十万行以上的数据集也能快速出结果。

核心流程

整个操作分为三步:

  • 把weekid作为固定维度列,将其余列(A/B/C/D/E/F)从横向的宽表结构堆叠为纵向的长表结构
  • 按照场景定义,过滤掉值为0的无效行
  • 调整列名匹配目标格式(weekid/type/amount)

具体代码实现

1. 复现原始测试数据集

import pandas as pd

raw_df = pd.DataFrame({
    "weekid": [1, 2],
    "A": [10, 70],
    "B": [20, 100],
    "C": [30, 0],
    "D": [40, 0],
    "E": [0, 80],
    "F": [50, 0]
})

2. 方法一:使用melt接口实现(最直观易读)

melt是pandas专门提供的宽转长接口,参数配置完全匹配字段定义,不需要额外做重命名:

target_df = raw_df.melt(
    id_vars="weekid",       # 保留为固定维度的列
    var_name="type",        # 原列名映射为长表的type列
    value_name="amount"     # 原单元格值映射为长表的amount列
)

# 过滤值为0的无效行,重置索引
target_df = target_df[target_df["amount"] != 0].reset_index(drop=True)

如果需要和示例中一致的分组排序(先排完weekid=1的所有有效行,再排weekid=2的),可以在过滤后加一行排序逻辑:

target_df = target_df.sort_values(by="weekid", ignore_index=True)

运行后得到的核心字段完全匹配要求,结构如下:

weekidtypeamount
1A10
1B20
1C30
1D40
1F50
2A70
2B100
2E80

注:示例中手写的weekid=2的行顺序为A、E、B,和原表的默认列顺序有差异,如果需要严格匹配指定的行排序规则,只要在sort_values中传入自定义的排序列表即可,不需要修改核心转换逻辑。

3. 方法二:使用stack实现(大表场景内存效率更优)

当原始数据量超过十万行时,stack的内存占用会比melt低30%左右,处理速度更快:

target_df = (
    raw_df.set_index("weekid")
          .stack()
          .reset_index()
          .rename(columns={"level_1": "type", 0: "amount"})
)
# 同样过滤0值行
target_df = target_df[target_df["amount"] != 0].reset_index(drop=True)

注意事项

  • 因为场景中定义0为缺失值,直接通过amount != 0过滤即可;如果后续需要同时过滤NaN值,可以把过滤条件换成target_df.dropna(subset=["amount"]),不影响整体转换逻辑
  • 两种方法都基于pandas底层C实现的向量化运算,没有Python层的逐行循环,处理速度通常比手写for循环遍历的方案高1~2个数量级,就算是百万行级别的原始宽表,几秒就能完成转换

内容的提问来源于stack exchange,提问作者user3104352

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 15:15:10