Spark使用临时路径将写操作写入HDFS

在Spark中，可以使用DataFrameWriter类的option方法来设置临时路径将写操作写入HDFS。以下是一个示例代码：

import org.apache.spark.sql.{SparkSession, SaveMode}

val spark = SparkSession.builder()
  .appName("Spark HDFS Write Example")
  .master("local")
  .getOrCreate()

// 创建一个DataFrame
val data = Seq(("Alice", 25), ("Bob", 30), ("Charlie", 35))
val df = spark.createDataFrame(data).toDF("name", "age")

// 设置临时路径
val tempPath = "/tmp/spark/hdfs_write_temp"

// 将数据写入临时路径
df.write
  .option("path", tempPath)
  .mode(SaveMode.Overwrite)
  .format("parquet")
  .save()

// 将临时路径的数据移动到HDFS
val hdfsPath = "/user/spark/hdfs_write_output"
val fs = org.apache.hadoop.fs.FileSystem.get(spark.sparkContext.hadoopConfiguration)
fs.rename(new org.apache.hadoop.fs.Path(tempPath), new org.apache.hadoop.fs.Path(hdfsPath))

在示例中，首先创建了一个DataFrame，然后使用option方法设置了临时路径tempPath，并使用save方法将数据写入临时路径。之后，通过Hadoop的FileSystem将临时路径的数据移动到HDFS的目标路径hdfsPath。