spark-submit使用--files参数时会从哪个目录查找指定文件？

当你使用spark-submit --files传入无路径的文件名（比如示例中的somescript.sh）或者相对路径时，spark-submit只会在你执行该命令时的当前终端工作目录下查找对应文件，不会扫描全类路径。

以下是相关的注意事项：

• 如果待上传的文件不在当前执行命令的目录下，你可以先cd到文件所在目录再执行spark-submit，也可以拼接相对于当前工作目录的相对路径，比如spark-submit --files ../script/somescript.sh
• 文件提交成功后，会被分发到所有Executor进程的工作目录中，你在作业代码里直接写文件名就可以读取，不需要携带原始的本地路径前缀。

内容的提问来源于stack exchange，提问作者hawarden_