如何在Azure Databricks中将Pandas on Spark DataFrame保存至未创建的数据库新表

你的代码执行失败的核心原因是Spark 默认不会自动创建不存在的数据库，直接写入new_database.new_table会因为数据库不存在而报错。以下是修正后的完整实现：

优化代码 #

import pyspark.pandas as ps
from pyspark.sql import SparkSession

# 初始化Spark会话
spark = SparkSession.builder.appName('transformation').getOrCreate()

# 第一步：创建目标数据库（不存在则创建，避免重复执行报错）
spark.sql("CREATE DATABASE IF NOT EXISTS new_database")

# 读取源数据并转为Pandas on Spark DataFrame
df_final = spark.sql("SELECT * FROM table")
df_final = ps.DataFrame(df_final)

# 直接写入目标表：无需手动转Spark DataFrame，用Pandas on Spark自带的to_spark()更高效
df_final.to_spark().write.mode("overwrite").saveAsTable("new_database.new_table")

关键细节说明 #

• 强制创建数据库：必须先执行CREATE DATABASE IF NOT EXISTS语句，IF NOT EXISTS是关键，确保数据库已存在时不会抛出异常。
• 简化转换流程：Pandas on Spark DataFrame自带to_spark()方法，能直接转为原生Spark DataFrame，比spark.createDataFrame()更适配，可避免类型转换不兼容的问题。
• 写入模式灵活调整：
  • mode("overwrite")：覆盖已存在的表（适合全量更新场景）
  • mode("append")：向现有表追加数据（适合增量更新场景）
  • mode("ignore")：若表已存在则跳过写入（避免误改数据）

内容的提问来源于stack exchange，提问作者user139442