如何通过循环将每个Spark DataFrame写入Excel不同工作表？

Spark本身不支持直接将多个DataFrame写入同一个Excel文件的不同工作表，需要借助pandas和openpyxl库来实现。具体步骤如下：

1. 先安装依赖库（未安装的话执行）：

pip install pandas openpyxl pyspark

2. 修改你的循环代码，引入ExcelWriter管理多工作表写入：

import pandas as pd
from pyspark.sql import SparkSession

# 初始化SparkSession（未初始化时添加）
spark = SparkSession.builder.appName("WriteExcelSheets").getOrCreate()

# 创建ExcelWriter对象，指定输出文件和引擎
with pd.ExcelWriter("output.xlsx", engine="openpyxl") as writer:
    for idx, item in enumerate(data):
        # 你的原有数据清洗逻辑
        drop_none = lambda path, key, value: key is not None and value is not None
        cleaned = remap(item, visit=drop_none)
        new_data = flatten(cleaned)
        
        # 生成Spark DataFrame
        dfFromRDD2 = spark.createDataFrame(new_data)
        
        # 转换为pandas DataFrame
        pd_df = dfFromRDD2.toPandas()
        
        # 写入指定工作表，表名可自定义（这里用循环索引区分）
        sheet_name = f"数据表_{idx+1}"
        pd_df.to_excel(writer, sheet_name=sheet_name, index=False)

# with块结束后自动保存并关闭Excel文件

3. 关键细节说明：

• 用with语句管理pd.ExcelWriter，无需手动关闭文件，避免资源泄漏。
• 工作表名可根据业务需求调整，比如从item中提取特定字段作为表名，替换f"数据表_{idx+1}"即可。
• 如果数据量极大，toPandas()会占用较多内存，可考虑分批次处理；常规数据量下，上述方法足够高效。

内容的提问来源于stack exchange，提问作者Harshith K R