Databricks Notebook并行调用PySpark导出函数至Azure SQL报错求助

Python multiprocessing.Process 会创建独立进程，但PySpark的SparkSession/SparkContext是进程绑定的单例对象，子进程无法正确继承父进程的Spark上下文。当子进程尝试解析表结构时，会因Spark相关对象未正确初始化，出现'bool' object has no attribute 'schema'这类属性缺失错误。

方法1：使用Spark原生并行化（推荐） #

利用Spark分布式并行能力处理导出任务，完全适配Databricks环境，避免进程上下文问题：

def export_table_to_sql(table_name):
    # 替换为你的Azure SQL连接配置
    df = spark.table(table_name)
    df.write \
      .format("jdbc") \
      .option("url", "jdbc:sqlserver://<server>.database.windows.net:1433;databaseName=<db>") \
      .option("dbtable", f"dbo.{table_name}") \
      .option("user", "<user>") \
      .option("password", "<password>") \
      .mode("overwrite") \
      .save()

# 待导出表列表
tables_to_export = ["table1", "table2", "table3"]

# 按表数量设置分区，每个分区处理一个表
spark.sparkContext.parallelize(tables_to_export, numSlices=len(tables_to_export)).foreach(export_table_to_sql)

方法2：改用Python线程而非进程 #

SparkSession支持线程安全（不修改配置的前提下），用threading.Thread共享父进程的Spark上下文：

import threading

def export_table_to_sql(table_name):
    df = spark.table(table_name)
    df.write \
      .format("jdbc") \
      .option("url", "jdbc:sqlserver://<server>.database.windows.net:1433;databaseName=<db>") \
      .option("dbtable", f"dbo.{table_name}") \
      .option("user", "<user>") \
      .option("password", "<password>") \
      .mode("overwrite") \
      .save()

tables_to_export = ["table1", "table2", "table3"]
threads = []

for table in tables_to_export:
    t = threading.Thread(target=export_table_to_sql, args=(table,))
    threads.append(t)
    t.start()

# 等待所有线程完成
for t in threads:
    t.join()

注意：需控制线程数量，避免触发Azure SQL的连接数上限。

方法3：Databricks作业调度（适合大量表/定时任务） #

1. 编写通用导出Notebook，接收表名作为参数
2. 在Databricks Workflow中创建多个作业任务，每个任务传入不同表名
3. 批量触发作业实现并行执行

内容的提问来源于stack exchange，提问作者Ajay