用最快方式替代双重for循环实现列表组合求和并生成DataFrame

问题背景 #

需要处理最多包含50000个元素的列表，计算所有元素两两组合的和并生成DataFrame。当前使用双重for循环实现，结果正确但数据量大时执行过慢，寻求最优实现方案。

原代码：

x = list(range(1,5))
t=[]
for i in x:
    for j in x:
        t.append((i,j,i+j))

df=pd.DataFrame(t)

原代码的问题 #

Python双重for循环是解释执行，效率极低——当列表元素达50000时，循环次数会飙升至25亿次，完全无法在合理时间内完成。此外，列表append操作会频繁触发内存扩容，进一步拖慢运行速度。

最优实现方案 #

利用numpy向量化操作或pandas内置笛卡尔积功能替代Python循环，能大幅提升执行效率。

方案1：使用numpy广播机制（速度最快）

numpy的向量化操作由底层C实现，效率远高于Python循环，通过tile和repeat生成所有两两组合后直接计算和：

import numpy as np
import pandas as pd

# 替换为你的实际列表
x = list(range(1, 5))
x_np = np.array(x)

# 生成所有i和j的组合
i = np.tile(x_np, len(x_np))
j = np.repeat(x_np, len(x_np))
sum_ij = i + j

# 转换为DataFrame
df = pd.DataFrame({'i': i, 'j': j, 'sum': sum_ij})

方案2：使用pandas的merge cross笛卡尔积

pandas的merge(how='cross')可直接生成两个DataFrame的笛卡尔积，后续再计算组合和：

import pandas as pd

# 替换为你的实际列表
x = list(range(1, 5))
df_i = pd.DataFrame({'i': x})
df_j = pd.DataFrame({'j': x})

# 生成笛卡尔积并计算和
df = df_i.merge(df_j, how='cross')
df['sum'] = df['i'] + df['j']

关键注意事项 #

当列表长度为50000时，两两组合会产生25亿条记录，按每条记录3个整数计算，会占用约60GB以上内存，普通机器根本无法承载。如果业务逻辑允许，建议先确认是否真的需要所有两两组合，或考虑分块处理、用磁盘存储中间结果，避免内存溢出。

内容的提问来源于stack exchange，提问作者Kallol