PySpark中不依赖Pandas发送Spark DataFrame至邮箱的方法

1. 纯Spark生成HTML表格 #

直接通过Spark API获取Schema和数据，手动拼接HTML表格结构，无需依赖Pandas：

from pyspark.sql import SparkSession

def spark_df_to_html(df):
    # 构建表头
    header = "<thead><tr>"
    for field in df.schema.fields:
        header += f"<th>{field.name}</th>"
    header += "</tr></thead>"
    
    # 构建表体，处理空值
    body = "<tbody>"
    for row in df.collect():
        body += "<tr>"
        for value in row:
            cell_val = str(value) if value is not None else ""
            body += f"<td>{cell_val}</td>"
        body += "</tr>"
    body += "</tbody>"
    
    # 生成完整表格（可自定义样式）
    return f"<table border='1' cellpadding='4' cellspacing='0'>{header}{body}</table>"

2. 自动化邮件发送流程 #

用Python内置的smtplib和email库实现邮件发送，无额外依赖：

import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText

def send_html_email(sender, receiver, password, subject, html_content):
    # 构建邮件对象
    msg = MIMEMultipart()
    msg['From'] = sender
    msg['To'] = receiver
    msg['Subject'] = subject
    
    # 附加HTML内容
    msg.attach(MIMEText(html_content, 'html'))
    
    # 连接SMTP服务器（示例为Gmail，其他服务商需调整配置）
    with smtplib.SMTP_SSL('smtp.gmail.com', 465) as server:
        server.login(sender, password)
        server.send_message(msg)

# 整合完整流程示例
if __name__ == "__main__":
    # 初始化SparkSession
    spark = SparkSession.builder.appName("DFToEmail").getOrCreate()
    
    # 替换为你的目标DataFrame
    sample_data = [("Alice", 34), ("Bob", 45), ("Charlie", 29)]
    df = spark.createDataFrame(sample_data, ["Name", "Age"])
    
    # 转换为HTML表格
    html_table = spark_df_to_html(df)
    
    # 发送邮件
    send_html_email(
        sender="your_email@example.com",
        receiver="target@example.com",
        password="your_app_password",  # 邮箱专用密码，避免硬编码生产密钥
        subject="Spark DataFrame 自动报表",
        html_content=f"<h3>最新数据报表</h3>{html_table}"
    )
    
    spark.stop()

关键注意点 #

• 若DataFrame数据量过大，避免直接collect()，可先做limit()或分区分批处理，防止Driver节点内存溢出
• SMTP服务器配置需匹配邮箱服务商：比如Outlook用smtp.office365.com，端口587（需启用STARTTLS）
• 生产环境中建议通过环境变量或密钥管理工具获取邮箱密码，不要硬编码

内容的提问来源于stack exchange，提问作者user15437862