如何高效重构大型单列DataFrame的层级结构？

针对你的需求（将含分类头的扁平DataFrame转换为层级结构，且处理数千行数据），最高效的方式是利用pandas的矢量化操作，避免逐行循环，具体步骤如下：

步骤1：预处理数据（统一空值格式） #

如果原始数据中Qty列的空值是空白字符串而非NaN，先转换为标准缺失值：

import pandas as pd

# 假设原始DataFrame为df
df['Qty'] = pd.to_numeric(df['Qty'], errors='coerce')

步骤2：填充分类标签 #

利用ffill()（向前填充）将分类项传递给其下的所有子项，生成Category列：

# 仅在Qty为空的行提取Name作为分类，然后向下填充
df['Category'] = df.loc[df['Qty'].isna(), 'Name'].ffill()

步骤3：过滤并整理结果 #

过滤掉原始的分类行（Qty为空的行），重命名列并调整顺序：

# 筛选非空Qty的行，重命名列，指定输出列顺序
result_df = df[df['Qty'].notna()].rename(columns={'Name': 'Constituents'})[['Category', 'Constituents', 'Qty']]

可选：统一子项名称格式 #

如果需要将子项名称首字母大写（如spinach改为Spinach），可添加：

result_df['Constituents'] = result_df['Constituents'].str.capitalize()

为什么高效？ #

• 所有操作均为pandas内置的矢量化方法，底层基于C实现，处理数千行数据的速度远快于Python循环；
• ffill()是专门针对填充缺失值的优化方法，无需手动遍历每一行，性能最优。

最终结果示例 #

处理后的数据结构与你需求一致：

内容的提问来源于stack exchange，提问作者user11798649