如何高效计算大型Pandas DataFrame的过渡矩阵（兼顾时间与内存效率）

我完全懂你的痛点——当处理500K级别的大型DataFrame时，用Python循环构建过渡矩阵不仅慢到让人抓狂，还可能在内存上踩坑。我来给你分享几个完全向量化、速度拉满且兼顾内存效率的解决方案，比循环快N倍！

先回顾你的场景 #

你有这样的初始DataFrame：

import pandas as pd
import numpy as np

df = pd.DataFrame(index=pd.Index(['1', '1', '2', '2'], name='from'), columns=['to'], data= ['2', '2', '4', '5'])

它的实际内容是：

你原来的思路是先创建空的稀疏矩阵，再用for循环逐个填充：

# 原方法：创建空稀疏矩阵
matrix = pd.DataFrame(index=df.index.unique(), columns=df.to.unique(), data=0, dtype=pd.SparseDtype(dtype=np.float16, fill_value=0)) 

# 循环填充（大数据量下效率极低）
for i in range(len(df)):
    from_, to = df.index[i], df.to.iloc[i]     
    matrix[to] = matrix[to].sparse.to_dense() # 稀疏转密集才能赋值
    matrix.loc[from_, to] += 1     
    matrix[to] = matrix[to].astype(pd.SparseDtype(dtype=np.float16, fill_value=0)) # 转回稀疏

# 转换为百分比
matrix = (matrix.div(matrix.sum(axis=1), axis=0)*100)

这个方法在小数据量下没问题，但面对500K量级的数据，循环的开销会指数级增长，而且反复在稀疏/密集格式间转换也会额外消耗时间和内存。

高效向量化方案（无循环，内存友好） #

核心思路是利用Pandas内置的优化函数批量统计频次，再归一化得到百分比，最后转稀疏格式控制内存。这些操作都是C语言级别的优化，速度碾压Python循环。

方案1：groupby + unstack 实现 #

这是最直观的方式，先分组统计频次，再展开为矩阵：

# 1. 统计每个(from, to)的出现频次，自动对齐行和列
counts = df.groupby([df.index, 'to']).size().unstack(fill_value=0)

# 2. 按行归一化，转换为0-100范围的百分比
transition_matrix = counts.div(counts.sum(axis=1), axis=0) * 100

# 3. 转换为稀疏格式，极致节省内存
transition_matrix = transition_matrix.astype(pd.SparseDtype(dtype=np.float16, fill_value=0.0))

方案2：pd.crosstab 实现 #

如果你更习惯用交叉表，也可以一步生成频次矩阵：

# 1. 直接生成from-to的频次交叉表
counts = pd.crosstab(df.index, df['to'], dropna=False)

# 2. 归一化转百分比
transition_matrix = counts.div(counts.sum(axis=1), axis=0) * 100

# 3. 转稀疏格式控制内存
transition_matrix = transition_matrix.astype(pd.SparseDtype(dtype=np.float16, fill_value=0.0))

为什么这个方案完爆循环？ #

1. 速度上天：Pandas的groupby、unstack、crosstab都是底层优化的操作，比Python循环快几个数量级——500K的数据量可能几秒就能跑完，而循环可能要几小时甚至更久。
2. 内存完美控制：全程用float16的稀疏格式，每个非零元素仅占2字节。如果你的过渡矩阵稀疏度高（大部分是0），内存占用会远低于10-12GB的上限。
3. 代码简洁省心：不用手动处理稀疏/密集转换的细节，Pandas会自动帮你对齐行和列，避免循环里的各种小bug。

结果验证 #

生成的过渡矩阵和你用循环得到的完全一致：

备注：内容来源于stack exchange，提问作者Saeed