Spark SQL：如何按指定列组合拆分大数据框为多个小DataFrame并存入List

嘿，这个需求很常见，我给你整理了两种实用的解决方案，分别适配中小规模数据（用Pandas）和大数据场景（用PySpark），你可以根据自己的情况选：

方案1：用Pandas处理中小规模DataFrame #

如果你的数据量不算特别大，用Pandas的groupby就能轻松搞定，步骤很清晰：

1. 先按event_start_date_time和service_key这两列分组
2. 把每个分组转换成独立的小DataFrame，存入列表即可

代码示例：

import pandas as pd

# 假设你的大数据框叫big_df
grouped_data = big_df.groupby(['event_start_date_time', 'service_key'])

# 初始化空列表用来存小DataFrame
small_dfs_list = []

# 遍历每个分组，把小DataFrame加入列表
for (date_val, service_val), small_df in grouped_data:
    # 给每个小DataFrame加个自定义名称，方便后续识别（比如你要的small dataframe_1这种）
    small_df.name = f"small_dataframe_{len(small_dfs_list)+1}"
    small_dfs_list.append(small_df)

# 现在small_dfs_list里就有30个对应不同组合的小DataFrame了
# 比如要调用第一个小DataFrame，直接用small_dfs_list[0]就行

方案2：用PySpark处理大数据场景 #

如果是大数据量的分布式DataFrame，PySpark会更合适，毕竟它能很好地处理大规模数据，不会因为内存不足出问题：

1. 先获取所有唯一的(event_start_date_time, service_key)组合
2. 逐个过滤出对应组合的数据，生成小DataFrame并存入列表

代码示例：

# 假设你已经初始化好了SparkSession，大数据框叫big_spark_df

# 第一步：获取所有不重复的组合
unique_combinations = big_spark_df.select('event_start_date_time', 'service_key').distinct().collect()

# 初始化空列表
small_spark_dfs = []

# 遍历每个组合，生成对应小DataFrame
for idx, combo in enumerate(unique_combinations, start=1):
    target_date = combo['event_start_date_time']
    target_service = combo['service_key']
    # 过滤出符合条件的记录
    filtered_df = big_spark_df.filter(
        (big_spark_df.event_start_date_time == target_date) & 
        (big_spark_df.service_key == target_service)
    )
    # 同样可以给小DataFrame做标记，方便后续区分
    filtered_df = filtered_df.withMetadata({"name": f"small_dataframe_{idx}"})
    small_spark_dfs.append(filtered_df)

# 现在列表里就是对应每个组合的小Spark DataFrame了
# 注意：Spark是惰性求值，这些小DataFrame只有执行action操作（比如show()、write()）时才会真正计算

额外说明 #

• 两种方案都会保留原DataFrame的schema，不用额外处理
• 如果需要给小DataFrame更清晰的标识，除了命名，也可以在遍历的时候把组合信息和小DataFrame一起存成字典（比如{"combo": (date, key), "df": small_df}），后续使用更方便

内容的提问来源于stack exchange，提问作者Surender Raja