Yarn-Client模式下Spark DataFrame写入HDFS空目录问题

看起来你遇到了Yarn-Client模式下Spark流式任务写入HDFS的空目录问题，我之前也碰到过类似情况，结合你的描述给你几个排查和解决的方向：

1. 先确认HDFS权限与执行用户身份 #

在Yarn-Client模式下，Spark Executor是由Yarn管理的，执行HDFS写入操作的用户可能不是你本地登录的用户（比如默认是yarn或spark用户）。你需要：

• 用hdfs dfs -ls /你的目标HDFS路径查看路径权限，确保执行用户有读写权限；如果权限不足，可以用hdfs dfs -chmod 775 /你的目标HDFS路径临时调整（生产环境建议按需设置更严格的权限）。
• 如果提交任务时指定了--user参数，确认该用户拥有HDFS目标路径的操作权限。

2. 修改流式停止逻辑，等待数据处理完成 #

本地环境任务延迟低，数据能在停止前写完，但Yarn环境中资源调度和网络传输有延迟，直接调用StreamingContext.stop()可能中断未完成的写入。建议改成优雅停止：

// 替换原有的stop调用，开启优雅停止
streamingContext.stop(stopSparkContext = true, stopGracefully = true)

stopGracefully = true会让StreamingContext等待当前正在处理的批次完成后再停止，避免数据丢失或写入不完整。

3. 排查foreachRDD中的写入逻辑坑 #

如果你的写入是在DStream.foreachRDD中实现的，注意这几个常见问题：

• 不要在foreachRDD里重复创建SparkSession：每个分区处理时重复创建会导致资源浪费和连接问题，应该在Driver端创建一次，然后在foreachRDD中复用：

// Driver端初始化SparkSession
val spark = SparkSession.builder().appName("TweetStream").getOrCreate()
import spark.implicits._

// 流式处理逻辑
dstream.foreachRDD { rdd =>
  // 先判断RDD是否为空，避免生成空目录
  if (!rdd.isEmpty()) {
    val df = rdd.toDF(tweetSchemaString.split(" "): _*)
    // 写入HDFS时用绝对路径，指定append模式避免覆盖
    df.write.mode("append").parquet("hdfs://你的namenode地址:9000/目标路径")
  }
}

• 处理空RDD：如果流式批次没有数据，写入操作会创建空目录，先判断RDD非空再执行写入，能减少无意义的空目录。

4. 查看Yarn日志定位具体错误 #

空目录说明写入操作触发了，但数据没成功写入，一定要看Yarn的任务日志找原因：

• 打开YARN UI（通常是http://你的ResourceManager地址:8088），找到你的Application，进入ApplicationMaster日志，或者查看Executor的stdout/stderr日志。
• 重点找IOException、PermissionDeniedException这类和HDFS写入相关的错误，这些是导致写入失败的直接原因。

5. 确保HDFS路径是绝对路径 #

别用相对路径！Yarn环境的工作目录和本地不一样，相对路径可能指向Yarn容器的临时目录，而非你预期的HDFS路径。一定要写全HDFS绝对路径，比如hdfs://namenode:9000/user/spark/tweets。

内容的提问来源于stack exchange，提问作者Glitch