You need to enable JavaScript to run this app. Pandas按条件转置:展开非零值列生成新行 排除0值行
优惠活动
大模型
产品
解决方案
定价
更多

Pandas按条件转置:展开非零值列生成新行 排除0值行

高效实现方案

直接使用Pandas原生的melt方法配合关联操作完成宽表转长表,全程为向量化操作,无Python层逐行循环开销,性能远高于手动迭代,最终输出和示例要求完全匹配。

核心逻辑

  1. 给原始DataFrame增加临时行标识列,确保展开后的每一行都能回溯到对应的原始行
  2. 拆分列类型
    • 固定保留列:临时行标识、Key、Colother,这些列在转置时不参与展开,直接复制到结果行中
    • 待展开列:需要将每个单元格值单独生成一行的列,即Col1、Col2、Col3
  3. 执行转置
    调用df.melt()完成结构转换,自动生成Colnew列存储展开后的单元格值,同时生成一列标识值对应的原列名
  4. 条件过滤
    直接筛除Colnew值为0的行,不需要在逐行遍历时做条件判断
  5. 关联还原原始列
    将过滤后的结果通过临时行标识,和原始表的待展开列值做关联,把原始行的Col1、Col2、Col3值完整带回到结果中,避免出现列值缺失
  6. 清理结果
    删除冗余的临时列、原列名标识列,按原Key值对齐行序,调整列顺序,即可得到目标输出。

完整可运行代码

import pandas as pd

# 构造原始DataFrame
df = pd.DataFrame({
    'Key': [1, 2, 3],
    'Col1': [11, 0, 5],
    'Col2': [12, 21, 6],
    'Col3': [0, 31, 7],
    'Colother': ["'a'", "'b'", "'c'"]
})

# 1. 增加临时行标识列
df['_tmp_row_idx'] = df.index
# 2. 指定待展开的列(可根据需求手动调整列表内容)
target_cols = ['Col1', 'Col2', 'Col3']
# 3. 执行宽转长操作
melted = df.melt(
    id_vars=['_tmp_row_idx', 'Key', 'Colother'],
    value_vars=target_cols,
    value_name='Colnew'
)
# 4. 过滤零值行
melted_filtered = melted[melted['Colnew'] != 0]
# 5. 关联原始表,仅还原Col1/Col2/Col3的原始值,避免重复列
original_ref = df[['_tmp_row_idx', 'Col1', 'Col2', 'Col3']]
res = melted_filtered.merge(
    original_ref,
    on='_tmp_row_idx',
    how='left'
)
# 6. 清理冗余列,按示例顺序排列列
res = res.drop(columns=['_tmp_row_idx', 'variable'])
res = res[['Key', 'Col1', 'Col2', 'Col3', 'Colother', 'Colnew']]
# 按Key值重排行序,对齐示例输出顺序
res = res.sort_values('Key', kind='stable').reset_index(drop=True)

性能说明

  • 逐行迭代(iterrows、行级apply)属于Python层循环,处理10万行规模数据时通常耗时数秒到数十秒
  • 上述方法全程为Pandas原生向量化操作,无Python层循环,同等数据量下耗时通常在百毫秒级别,性能差距可达10~100倍,不存在df.T的适用场景限制。

若待展开列需要自动识别,可将target_cols替换为数值类型列的筛选结果,如df.select_dtypes(include='number').drop(columns=['Key','_tmp_row_idx']).columns.tolist(),无需手动维护列列表。

内容的提问来源于stack exchange,提问作者sjd

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 11:45:03