没问题！在Spark Standalone模式下完全可以实现以其他用户身份运行作业，刚好能解决你提到的清理步骤权限不匹配这类头疼问题。下面给你拆解几种可行的方案：

1. 启动Worker时直接指定运行用户 #

如果你希望某个Worker节点上的所有作业都固定用某个用户身份执行，可以在启动Worker前切换到目标用户，再启动进程：

su - target_user -c "./sbin/start-worker.sh spark://master:7077"

这样Worker本身就以target_user身份运行，所有提交到这个Worker的任务都会继承这个身份，包括后续的临时文件清理操作，自然就不会出现权限冲突了。

2. 提交作业时动态指定用户（Spark 2.4及以上版本） #

从Spark 2.4开始，Standalone模式支持在提交作业时通过--user参数指定运行身份——不过前提是你的集群配置了身份认证（比如基于Unix系统的PAM认证）。举个提交命令的例子：

./bin/spark-submit \
  --master spark://master:7077 \
  --user target_user \
  --class com.example.YourJobClass \
  your-job-package.jar

这种方式更灵活，不同作业可以指定不同的运行用户，但要注意Worker节点上必须存在这个用户，而且集群的认证配置要到位，不然Master可能会忽略这个参数，还是用Worker的默认用户执行。

3. 修改全局配置默认指定用户 #

如果想让所有Worker上的作业默认都用某个用户运行，可以修改Spark的spark-env.sh配置文件，添加一行环境变量：

export SPARK_WORKER_USER=target_user

修改完后重启所有Worker节点，后续启动的Worker就会自动以这个用户身份运行所有作业了。

几个关键注意点 #

• 不管用哪种方式，目标用户必须在Worker节点上拥有足够权限：比如能访问作业的依赖文件、读写Spark的临时目录（默认是/tmp/spark-*），还有执行作业相关命令的权限。
• 如果用--user参数，一定要确保集群开启了身份验证，否则这个参数可能不会生效。

内容的提问来源于stack exchange，提问作者safetyduck