使用SparkFiles的addFile方法时，文件加载位置究竟在哪里？

• 当使用SparkFiles（比如调用SparkFiles.get()方法）加载文件时，文件会被分发到Spark集群内每一个工作节点（Worker Node）的本地文件系统，具体存储路径是每个节点上Spark临时目录下的专属文件夹，你可以通过SparkFiles.getRootDirectory()方法直接获取这个路径。
• 如果你是通过--files命令行参数或者SparkContext.addFile()方法添加文件，这些文件会先被上传到Spark集群的分布式存储系统（比如HDFS、YARN存储，本地模式下则是共享存储路径），之后在每个Worker节点启动Executor执行任务前，文件会被自动下载到该节点的本地临时目录，供Executor进程直接读取。
• 这么设计的核心目的是确保集群中所有Worker节点都能获取到任务依赖的小文件，避免重复分发，同时让Executor能以本地文件的方式访问，提升任务执行效率。

内容的提问来源于stack exchange，提问作者Snow