Pandas按条件转置:展开非零值列生成新行 排除0值行
高效实现方案
直接使用Pandas原生的melt方法配合关联操作完成宽表转长表,全程为向量化操作,无Python层逐行循环开销,性能远高于手动迭代,最终输出和示例要求完全匹配。
核心逻辑
- 给原始DataFrame增加临时行标识列,确保展开后的每一行都能回溯到对应的原始行
- 拆分列类型
- 固定保留列:临时行标识、
Key、Colother,这些列在转置时不参与展开,直接复制到结果行中 - 待展开列:需要将每个单元格值单独生成一行的列,即
Col1、Col2、Col3
- 固定保留列:临时行标识、
- 执行转置
调用df.melt()完成结构转换,自动生成Colnew列存储展开后的单元格值,同时生成一列标识值对应的原列名 - 条件过滤
直接筛除Colnew值为0的行,不需要在逐行遍历时做条件判断 - 关联还原原始列
将过滤后的结果通过临时行标识,和原始表的待展开列值做关联,把原始行的Col1、Col2、Col3值完整带回到结果中,避免出现列值缺失 - 清理结果
删除冗余的临时列、原列名标识列,按原Key值对齐行序,调整列顺序,即可得到目标输出。
完整可运行代码
import pandas as pd # 构造原始DataFrame df = pd.DataFrame({ 'Key': [1, 2, 3], 'Col1': [11, 0, 5], 'Col2': [12, 21, 6], 'Col3': [0, 31, 7], 'Colother': ["'a'", "'b'", "'c'"] }) # 1. 增加临时行标识列 df['_tmp_row_idx'] = df.index # 2. 指定待展开的列(可根据需求手动调整列表内容) target_cols = ['Col1', 'Col2', 'Col3'] # 3. 执行宽转长操作 melted = df.melt( id_vars=['_tmp_row_idx', 'Key', 'Colother'], value_vars=target_cols, value_name='Colnew' ) # 4. 过滤零值行 melted_filtered = melted[melted['Colnew'] != 0] # 5. 关联原始表,仅还原Col1/Col2/Col3的原始值,避免重复列 original_ref = df[['_tmp_row_idx', 'Col1', 'Col2', 'Col3']] res = melted_filtered.merge( original_ref, on='_tmp_row_idx', how='left' ) # 6. 清理冗余列,按示例顺序排列列 res = res.drop(columns=['_tmp_row_idx', 'variable']) res = res[['Key', 'Col1', 'Col2', 'Col3', 'Colother', 'Colnew']] # 按Key值重排行序,对齐示例输出顺序 res = res.sort_values('Key', kind='stable').reset_index(drop=True)
性能说明
- 逐行迭代(
iterrows、行级apply)属于Python层循环,处理10万行规模数据时通常耗时数秒到数十秒 - 上述方法全程为Pandas原生向量化操作,无Python层循环,同等数据量下耗时通常在百毫秒级别,性能差距可达10~100倍,不存在
df.T的适用场景限制。
若待展开列需要自动识别,可将
target_cols替换为数值类型列的筛选结果,如df.select_dtypes(include='number').drop(columns=['Key','_tmp_row_idx']).columns.tolist(),无需手动维护列列表。
内容的提问来源于stack exchange,提问作者sjd
相关产品推荐
相关产品推荐

