Scala Spark：向HDFS上Parquet文件追加数据遇权限及目录问题

咱们来一步步拆解你的问题，把它解决掉——你遇到的报错其实是两个核心问题叠加导致的：目标路径不是目录，再加上权限验证失败，先来看关键细节：

问题根源分析 #

从报错信息里的这两行就能定位核心：

inode="/user/root/AppendTest":root:root:-rw-r--r--
Permission denied: user=root, access=EXECUTE, inode="/user/root/AppendTest"

1. 路径类型错误：-rw-r--r--说明/user/root/AppendTest是一个普通文件，但Spark写入Parquet时要求目标路径必须是目录——它会自动在目录下生成part-*.parquet格式的分片文件，哪怕你用了coalesce(1)，也只会在目录里生成单个分片，而不是直接写入一个文件。
2. 权限问题：虽然你用的是root用户，但报错里要求的是EXECUTE权限，而这个权限对普通文件来说没有意义，本质还是路径类型不对导致的权限校验逻辑异常。

分步解决方案 #

1. 先处理错误的目标路径

首先用HDFS命令确认路径类型：

hdfs dfs -ls /user/root/

如果看到AppendTest的前缀是-（代表文件），执行以下操作：

• 如果这个文件是之前误操作生成的，直接删除：

  hdfs dfs -rm /user/root/AppendTest
  

• 或者换一个全新的目录名作为写入目标（比如/user/root/AppendTestDir），避免和旧文件冲突。

2. 确保目录权限合规

检查父目录/user/root/的权限：

hdfs dfs -ls /user/

如果权限不足（比如没有EXECUTE权限），调整权限（生产环境按需设置，这里以755为例）：

hdfs dfs -chmod 755 /user/root/

3. 调整Spark写入代码的注意事项

• 永远确保写入路径是目录，不要指定具体文件名。Spark Append模式会自动在目录下追加新的分片文件：

  data.coalesce(1).write.mode(SaveMode.Append).parquet("/user/root/AppendTest")
  

  （现在这个路径会被Spark自动创建为目录，而不是文件）
• 注意：coalesce(1)在大数据量场景下会导致单节点压力过大，生产环境尽量避免，除非你的数据量很小。

4. 验证结果

重新执行写入代码，此时Spark会自动创建目标目录，并在目录下追加新的Parquet分片文件，权限也能正常通过校验。

额外提醒 #

• 不要手动在HDFS上创建Parquet文件后让Spark去追加，Spark只识别它自己生成的目录结构。
• 如果需要最终输出单个Parquet文件，可以先写入临时目录，再通过HDFS命令将分片文件移动到目标路径并删除临时目录，不要直接指定文件名作为写入路径。

内容的提问来源于stack exchange，提问作者devanathan