如何在Spark DataFrame中实现类似pandas的列笛卡尔积展开？

嘿，我来给你唠唠在pandas里快速生成笛卡尔积的实用办法！就像你说的场景——如果你的数据里有10个唯一的a值，还有3个唯一日期，想要得到10×3的全组合结果，这两种方法都能轻松搞定：

方法一：利用MultiIndex生成 #

先提取出两个字段的唯一值集合，再通过MultiIndex.from_product生成笛卡尔积，最后转成DataFrame：

import pandas as pd

# 先模拟你的数据（这里简化了唯一值数量，实际替换成你的数据就行）
df = pd.DataFrame({
    'a': [f'x{i}' for i in range(10)],  # 10个唯一的'a'值
    'date': ['2024-05-01', '2024-05-02', '2024-05-03']  # 3个唯一日期
})

# 提取两个字段的唯一值
unique_a = df['a'].unique()
unique_dates = df['date'].unique()

# 生成笛卡尔积并转成DataFrame
cartesian_df = pd.MultiIndex.from_product(
    [unique_a, unique_dates],
    names=['a', 'date']
).to_frame(index=False)

方法二：使用cross merge（更直观） #

如果你的pandas版本在1.2.0及以上，直接用merge的how='cross'参数就能一步生成两个数据集的笛卡尔积，代码更简洁：

# 基于提取的唯一值生成单独的DataFrame
df_a = pd.DataFrame({'a': unique_a})
df_dates = pd.DataFrame({'date': unique_dates})

# 生成笛卡尔积
cartesian_df = df_a.merge(df_dates, how='cross')

两种方法最终都会得到你想要的10×3的全组合结果，按需选就行~

内容的提问来源于stack exchange，提问作者safetyduck