禁用Hive的DSE Spark能否创建保存DataFrame？遇错求助

这个报错我之前排查过好几次，本质是Spark SQL底层依赖的Hive元数据组件找不到可用的临时存储目录——你禁用Hadoop后，默认的HDFS路径/tmp/hive就不存在了，但RDD转DataFrame这类操作会用到Hive的临时文件管理机制，所以才会抛出NoSuchFileException。下面是具体的解决步骤：

核心原因拆解 #

Spark SQL（包括RDD转换DataFrame的操作）即使不连接外部Hive集群，也会依赖Hive的元数据模块来处理临时表、中间计算文件。默认情况下它会尝试使用HDFS的/tmp/hive目录，而你禁用Hadoop后这个路径无法访问，直接触发了文件找不到的错误。

具体解决方案 #

1. 配置Spark的临时仓库目录 #

找到DSE的Spark配置文件spark-defaults.conf（通常在/etc/dse/spark/目录下），添加以下配置，指定一个本地文件系统或者DSEFS的路径作为Spark的仓库目录：

# 本地文件系统路径（适合单节点测试）
spark.sql.warehouse.dir = file:///tmp/spark-warehouse

# 或者使用DSEFS路径（适合集群环境）
spark.sql.warehouse.dir = dsefs:///tmp/spark-warehouse

注意：一定要确保运行DSE Spark的用户对这个目录有读写权限，测试环境可以直接执行chmod 777 /tmp/spark-warehouse，生产环境建议设置更严格的权限（比如归属DSE运行用户）。

2. 指定Hive临时Scratch目录 #

同样在spark-defaults.conf中添加Hive临时目录的配置，覆盖默认的HDFS路径：

spark.hadoop.hive.exec.scratchdir = file:///tmp/hive-scratch

提前创建并授权这个目录：

mkdir -p /tmp/hive-scratch
chown dse:dse /tmp/hive-scratch  # 假设DSE运行用户为dse

3. 代码层面临时配置（可选） #

如果不想修改全局配置，也可以在初始化SparkSession时直接指定参数，适合临时测试场景：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("RDDToDataFrameDemo")
  .config("spark.sql.warehouse.dir", "file:///tmp/spark-warehouse")
  .config("spark.hadoop.hive.exec.scratchdir", "file:///tmp/hive-scratch")
  .getOrCreate()

4. 验证配置生效 #

重启DSE服务后，再次尝试RDD转DataFrame的操作，应该不会再出现文件找不到的错误。如果问题依旧，可以查看Spark的日志文件，确认配置是否正确加载，以及目录权限是否正常。

内容的提问来源于stack exchange，提问作者Rj1