DataFrame转换与内存优化：如何高效实现指定长表格式转换？

嘿，我来帮你搞定这个转换问题！你的原始两步法确实存在明显的内存浪费问题——转成宽表后，大量的NaN会占用不必要的空间，要是tf里的var取值范围很大（比如到几百上千），宽表的列数会直接爆炸，内存开销会高得离谱。

下面给你两种更高效的方案，完全跳过宽表中间步骤，直接生成你想要的长表，内存友好度拉满：

方案1：用explode+拆分元组（代码简洁） #

先把tf列里的每个元组拆成单独一行，再把元组拆成var和value两列，全程没有冗余的NaN：

import pandas as pd

data = [{'id': 'Jones', 'tf': [(0, 0.5), (1,2.0)]}, {'id': 'Alpha', 'tf': [(1,2.0)]}, {'id': 'Blue', 'tf': [(2,0.1),(1,0.2)]}]
df = pd.DataFrame(data)

# 1. 把tf列的每个元组展开成单独一行
df_exploded = df.explode('tf', ignore_index=True)

# 2. 将元组拆分为var和value列，再和id列合并
df_final = pd.concat(
    [
        df_exploded['id'],
        df_exploded['tf'].apply(pd.Series).rename(columns={0: 'var', 1: 'value'})
    ],
    axis=1
)

print(df_final)

输出结果完全符合你的需求：

id  var  value
0   Jones    0    0.5
1   Jones    1    2.0
2   Alpha    1    2.0
3    Blue    2    0.1
4    Blue    1    0.2

方案2：列表推导式直接生成数据（内存最优） #

如果你的数据集很大，用列表推导式提前生成所有目标行，再直接构造DataFrame，能避免explode和apply产生的中间对象，内存效率更高：

import pandas as pd

data = [{'id': 'Jones', 'tf': [(0, 0.5), (1,2.0)]}, {'id': 'Alpha', 'tf': [(1,2.0)]}, {'id': 'Blue', 'tf': [(2,0.1),(1,0.2)]}]
df = pd.DataFrame(data)

# 遍历每一行，把id和每个(var, value)配对成新行
rows = []
for row in df.itertuples():
    for var, value in row.tf:
        rows.append({'id': row.id, 'var': var, 'value': value})

df_final = pd.DataFrame(rows)

这个方法的内存占用是最小的，因为它只存储实际存在的有效数据，没有任何冗余的缺失值。

为什么你的原始方法不好？ #

你的第一步转宽表会生成大量NaN，而这些NaN在内存中是实打实占用空间的（比如float类型的NaN占8字节）。假设var的取值范围是0到1000，那宽表会有1001列，其中99%以上都是NaN，内存浪费极其严重。而上面的两种方案直接生成长表，只保留有数据的行，完全避免了这个问题。

内容的提问来源于stack exchange，提问作者Quant Christo