如何将PySpark结果写入Azure Synapse数据库并解决变量报错？

• Azure Synapse笔记本中，%%pyspark和%%spark魔术单元格对应完全隔离的执行命名空间：前者是Python语言的PySpark执行环境，后者是Scala语言的Spark执行环境，二者不会自动共享变量定义。
• 原代码的逻辑断点：在%%pyspark单元格中赋值的sample变量，切到%%spark的Scala环境后完全不可见，Scala侧执行spark.createDataFrame(sample)时因为找不到入参sample直接执行失败，变量park_df根本没有完成赋值，后续再调用park_df就会连锁触发“value not found”的报错。

方案1：全程使用PySpark完成写入（最推荐，零跨上下文问题） #

完全不需要切换到Scala环境，在同一个PySpark单元格内完成所有计算、DataFrame转换、落表逻辑，从根源上避免跨命名空间的变量找不到问题：

%%pyspark
# 承接原有的数据计算逻辑
sample = sample.head()

# 配置优化参数
spark.conf.set("spark.sql.execution.arrow.pyspark.enabled", "true")

# 直接在PySpark上下文将本地数据转成DataFrame，落表
park_df = spark.createDataFrame(sample)
park_df.write.mode("overwrite").saveAsTable("default.sample")

注意：PySpark本身完全支持将本地Python对象转换为Spark DataFrame，不需要依赖Scala环境的转换能力，这种写法在Synapse环境下兼容性最好，也不会出现变量隔离问题。

方案2：需要使用Scala上下文时的跨上下文传值写法 #

如果确实需要在Scala环境下执行落表逻辑，不要尝试直接传递Python变量到Scala上下文，通过Spark全局临时视图做跨上下文的桥接：

1. 先在PySpark单元格中完成数据计算，将转换后的DataFrame注册为全局临时视图：

%%pyspark
sample = sample.head()
park_py_df = spark.createDataFrame(sample)
# 注册全局临时视图，全局上下文可访问
park_py_df.createOrReplaceGlobalTempView("temp_sample_data")

2. 再在Scala单元格中直接读取全局临时视图的数据，完成落表：

%%spark
spark.conf.set("spark.sql.execution.arrow.pyspark.enabled", "true")
// 从全局临时视图读取数据，无需手动传入Python对象
val park_df = spark.sql("select * from global_temp.temp_sample_data")
park_df.write.mode("overwrite").saveAsTable("default.sample")

• 不要依赖魔术单元格之间的自动变量传递：两个不同语言的单元格REPL环境完全独立，没有内置的自动变量桥接机制，直接跨单元格引用其他语言环境定义的变量必然触发未找到报错。
• 如果目标是Azure Synapse专用SQL池的表，不要直接用saveAsTable方法，需要使用Synapse内置的专用SQL池写入连接器语法完成落表，避免把数据写到Spark无服务器池的默认存储路径下。
• 连锁报错定位优先级：出现“变量未找到”的报错时，优先检查该变量所在行的上一行赋值逻辑是否执行成功，绝大多数情况不是变量定义本身的问题，是上一步入参读取失败导致的赋值中断。

内容的提问来源于stack exchange，提问作者Yogesh Govindan