Windows下Spark转ORC格式报错：HDFS临时目录权限问题求助

嘿，我懂你遇到的这个糟心问题——明明rw-rw-rw-权限看起来完全可写，改了权限、删了目录重建都没用，还是报HDFS临时目录不可写。这确实是Windows平台特有的坑，和Hadoop/Spark在Windows上模拟Unix权限的逻辑有关，给你几个针对性的解决办法：

1. 直接指定自定义Hive临时目录（最稳妥） #

Windows的路径格式和Unix差异很大，winutils处理/tmp/hive这种Unix风格路径时容易出问题。你可以在Spark代码里直接指定一个本地的、你完全有权限的目录作为Hive临时目录：

// Scala 代码示例
val spark = SparkSession.builder()
  .appName("ParquetToORCConverter")
  .config("hive.exec.scratchdir", "C:\\temp\\hive_scratch") // 换成你自己的本地路径
  .enableHiveSupport()
  .getOrCreate()

如果是通过spark-submit提交应用，也可以用参数指定：

spark-submit --conf hive.exec.scratchdir=C:\\temp\\hive_scratch --class your.main.Class your-app.jar

注意路径要用双反斜杠（避免转义）或者正斜杠，比如C:/temp/hive_scratch也可以。

2. 正确使用winutils修复权限 #

你之前的命令路径可能不对，Windows下默认的临时目录是C:\tmp，不是\tmp，而且要确保winutils版本和你的Hadoop版本完全匹配（版本不匹配会导致权限修改失效）。执行这个完整路径的命令试试：

winutils.exe chmod -R 777 C:\tmp

另外，别忘了去Windows的文件夹属性里确认一下，你当前用户对C:\tmp目录有完全控制的NTFS权限——有时候winutils的权限设置会被Windows自身的权限覆盖。

3. 临时禁用Hive权限检查（仅测试环境） #

如果是测试环境，想快速跳过权限验证，可以在Spark配置里禁用Hive的权限检查：

val spark = SparkSession.builder()
  .appName("ParquetToORCConverter")
  .config("hive.security.authorization.enabled", "false")
  .enableHiveSupport()
  .getOrCreate()

这个方法只适合测试用，生产环境千万别这么干，会有安全风险。

额外小提示 #

如果是在IDE（比如IDEA、Eclipse）里运行应用，试试以管理员身份启动IDE——普通用户权限有时候会被Windows的UAC限制，导致目录写入失败。

内容的提问来源于stack exchange，提问作者Dynamite