Spark 3.1.1中spark.driver.log.dfsDir参数正确配置方法及路径前缀异常报错排查

你遇到的这个错误核心原因很明确：Spark没有正确识别你配置的HDFS路径，反而把hdfs://namenode:9000/shared/driver-logs当成了本地相对路径，自动拼接了Driver所在的应用目录/home/app/odm-spark/，才生成了那个不伦不类的无效路径。

为什么会出现这种情况？ #

主要有两个可能的诱因：

1. HDFS配置未被Driver正确加载：如果Driver进程无法获取Hadoop的core-site.xml和hdfs-site.xml配置，它就不知道hdfs://开头的路径是分布式文件系统路径，会默认按本地文件系统处理。
2. Spark 3.1.1的路径解析逻辑小问题：这个版本中spark.driver.log.dfsDir的参数解析对HDFS URI的格式要求比较严格，哪怕配置看起来正确，也可能因为环境缺失导致解析异常。

具体解决方案 #

1. 确保HDFS配置文件能被Driver访问

这是最关键的一步，Spark Driver需要知道如何连接HDFS集群：

• 把Hadoop的core-site.xml和hdfs-site.xml复制到Spark安装目录的conf文件夹下；
• 或者在spark-submit时通过--files参数携带这两个配置文件，比如：

  spark-submit --files /your/hadoop/conf/core-site.xml,/your/hadoop/conf/hdfs-site.xml \
    --class your.main.Class \
    your-app.jar
  

2. 验证并修正配置格式

虽然你的配置看起来没问题，但可以再做一次确认：

• 检查spark-defaults.conf中spark.driver.log.dfsDir的配置没有多余空格或特殊字符，确保是完整的HDFS URI：

  spark.driver.log.dfsDir hdfs://namenode:9000/shared/driver-logs
  

• 提前用HDFS命令创建目标路径，避免权限或路径不存在的问题：

  hdfs dfs -mkdir -p hdfs://namenode:9000/shared/driver-logs
  hdfs dfs -chmod 777 hdfs://namenode:9000/shared/driver-logs
  

3. 尝试简化路径配置（可选）

如果上述方法无效，可以试试基于HDFS默认文件系统的相对路径：

• 先确保core-site.xml中配置了fs.defaultFS=hdfs://namenode:9000；
• 然后把spark.driver.log.dfsDir改成：

  spark.driver.log.dfsDir /shared/driver-logs
  

验证步骤 #

修改配置后重新提交应用，观察Driver日志是否还会出现路径错误。如果问题依旧，可以检查Driver所在节点的HADOOP_CONF_DIR环境变量是否正确指向Hadoop配置目录，Spark会优先通过这个环境变量加载HDFS配置。

内容的提问来源于stack exchange，提问作者user1611228