Spark SQL临时视图内容能否写入指定路径？求实操方法

当然可以实现临时视图内容的导出，临时视图本身没有自带的写入方法，但可以通过以下两种常用方式完成需求：

方法一：使用Spark SQL的INSERT语句直接写入 #

通过INSERT OVERWRITE/INTO DIRECTORY语法，直接用SQL将临时视图的数据写入指定路径，支持指定输出格式和相关参数。

针对你的场景，示例代码如下：

INSERT OVERWRITE DIRECTORY 'dbfs:/mnt/path/to/write/dir'
USING csv
OPTIONS (header 'true', delimiter ',')
SELECT * FROM tmp;

• OVERWRITE会覆盖目标路径下已有的内容，如果需要追加数据，替换为INSERT INTO即可
• USING csv指定输出格式为CSV，可替换为parquet、json等其他Spark支持的格式
• OPTIONS中可以配置CSV的表头、分隔符等参数，根据需求调整

方法二：将临时视图转为DataFrame后使用write API #

你已经熟悉DataFrame的写入方式，只需将临时视图转换为DataFrame，即可复用相同的API逻辑。

Python示例 #

# 将临时视图转为DataFrame
df = spark.table("tmp")
# 写入CSV到指定路径，可根据需求调整参数
df.write.format("csv") \
  .option("header", "true") \
  .mode("overwrite") \
  .save("dbfs:/mnt/path/to/write/dir")

Scala示例 #

// 将临时视图转为DataFrame
val df = spark.table("tmp")
// 写入CSV到指定路径
df.write.format("csv")
  .option("header", "true")
  .mode("overwrite")
  .save("dbfs:/mnt/path/to/write/dir")

• mode参数可选值：overwrite（覆盖）、append（追加）、ignore（路径存在则跳过）、errorifexists（路径存在则报错），根据业务需求选择
• 同样可以修改format参数切换输出格式

内容的提问来源于stack exchange，提问作者Minura Punchihewa