如何高效创建包含原DataFrame列及所有无重复列乘积的新DataFrame？

要实现这个需求，最核心的思路是利用向量化运算生成所有列组合的乘积，避免逐行循环带来的性能损耗。以下是具体实现步骤：

实现步骤 #

1. 用itertools.combinations生成所有2到n列的无重复列组合，这是Python标准库中高效生成组合的工具，内存占用极低。
2. 对每个列组合，使用pandas的prod(axis=1)方法计算行-wise乘积，这是向量化操作，比逐行循环快几个数量级。
3. 将生成的乘积列直接追加到原DataFrame中。

代码示例 #

import pandas as pd
from itertools import combinations

# 示例原DataFrame
df = pd.DataFrame({
    'a': [1, 2, 3],
    'b': [4, 5, 6],
    'c': [7, 8, 9]
})

cols = df.columns.tolist()
n = len(cols)

# 遍历2到n列的所有组合
for combo_length in range(2, n + 1):
    for col_combo in combinations(cols, combo_length):
        # 生成新列名（用下划线连接组合列名，可自定义）
        new_col = '_x_'.join(col_combo)
        # 计算组合列的行乘积并添加到原DataFrame
        df[new_col] = df[list(col_combo)].prod(axis=1)

print(df)

输出结果 #

运行后会得到包含原列和所有组合乘积列的DataFrame：

a  b  c  a_x_b  a_x_c  b_x_c  a_x_b_x_c
0  1  4  7      4      7     28         28
1  2  5  8     10     16     40         80
2  3  6  9     18     27     54        162

性能说明 #

• 向量化运算：pandas的prod是基于numpy实现的向量化操作，处理大规模数据时性能远优于Python层面的逐行循环。
• 组合生成：itertools.combinations是迭代器模式，不会一次性生成所有组合存入内存，适合列数较多的场景（注意：当n≥10时，组合数会指数级增长，需评估内存是否能容纳）。

内容的提问来源于stack exchange，提问作者Rebel