如何在Databricks中将数据写入Snowflake的Transient表?
如何将Spark数据写入Snowflake的Transient表?
官方文档通常仅展示写入Permanent表的示例,未提及Transient表的写入方法。请问如何修改以下代码,使其写入Transient表?
原代码:
# Generate a simple dataset containing five values and write the dataset to Snowflake. spark.range(5).write .format("snowflake") .options(**options) .option("dbtable", "<snowflake-database>") .save()
要实现写入Transient表,只需添加table_type配置项并将其值设为TRANSIENT,Snowflake的Spark连接器会根据该参数创建对应类型的表。
修改后的代码:
# Generate a simple dataset containing five values and write the dataset to Snowflake Transient table. spark.range(5).write .format("snowflake") .options(**options) .option("dbtable", "<snowflake-database>") .option("table_type", "TRANSIENT") # 指定表为Transient类型 .save()
补充说明:
- 如果目标表已存在,且需要覆盖原表并确保其为Transient类型,可添加
.mode("overwrite"),该操作会删除原表后重新创建为Transient表; table_type参数支持三种取值:PERMANENT(默认)、TRANSIENT、TEMPORARY,分别对应Snowflake的三种表类型。
内容的提问来源于stack exchange,提问作者Ee Ann Ng
相关产品推荐
相关产品推荐

