如何用PySpark在Unity Catalog的prd.qa库中创建Delta表？

你提到的df.write.format('delta').saveAsTable('prd.qa.table_name')写法完全可行，还可以通过附加配置项，实现和你给出的Spark SQL语句一致的分区、表属性等设置。

完整实现代码 #

df.write.format("delta") \
    .partitionBy("year") \
    .option("delta.autoOptimize.autoCompact", "true") \
    .option("delta.autoOptimize.optimizeWrite", "true") \
    .option("delta.feature.allowColumnDefaults", "supported") \
    .saveAsTable("prd.qa.table_name")

关键说明 #

• saveAsTable("prd.qa.table_name") 会直接在Unity Catalog的prd目录下的qa数据库中创建指定名称的Delta表，效果和Spark SQL语句完全一致。
• 若需覆盖已存在的表，可追加.mode("overwrite")；若要追加数据，使用.mode("append")，默认模式为error（表已存在则抛出异常）。
• DataFrame的Schema会自动被继承为表结构，无需手动编写Schema定义，比SQL写法更简便。

内容的提问来源于stack exchange，提问作者OdiumPura