Spark Shell读取文本文件报错：HDFS临时目录权限不足

我来帮你搞定这个问题！你在Spark Shell里跑简单的Scala代码没问题，但一读取文件就触发了权限报错，核心原因已经很明确了：HDFS上的/tmp/hive目录完全没有读写执行权限（权限显示为---------），导致Spark依赖的Hive metastore无法创建临时文件。

下面是几种针对性的解决办法，你可以根据自己的环境选择：

方法1：修复HDFS上/tmp/hive目录的权限 #

这是最直接的解决方案，因为错误就是权限不足导致的：

1. 先确认目录状态（用HDFS命令行工具）：

hdfs dfs -ls /tmp

你应该能看到/tmp/hive的权限是---------。
2. 如果目录存在，直接修改权限（测试环境可以用宽松的777权限，生产环境建议更严格的权限）：

hdfs dfs -chmod 777 /tmp/hive

如果需要指定所属用户（比如你的Spark运行用户是spark），可以先修改所有者再设置权限：

hdfs dfs -chown spark:spark /tmp/hive
hdfs dfs -chmod 755 /tmp/hive

3. 如果/tmp/hive目录不存在，先创建再设置权限：

hdfs dfs -mkdir -p /tmp/hive
hdfs dfs -chmod 777 /tmp/hive

方法2：禁用Hive支持（本地测试场景） #

如果你只是在本地跑Spark做测试，不需要用到Hive的功能，可以在启动spark-shell时直接禁用Hive catalog，改用内存catalog，这样就不会依赖Hive的临时目录了：

spark-shell --conf spark.sql.catalogImplementation=in-memory

启动后再执行读取文件的代码，应该就能正常运行了。

补充说明 #

为什么会出现这个问题？Spark默认会启用Hive集成，即使你没有部署独立的Hive集群，它也会使用内置的Hive metastore来管理元数据，而这个metastore需要在HDFS上创建临时目录存储临时文件。当这个目录权限被设置为完全不可访问时，就会抛出你看到的AnalysisException。

内容的提问来源于stack exchange，提问作者Foxlooo