执行spark2-submit命令调用Python脚本时遭遇sh意外EOF匹配错误的技术问询

别被错误信息的指向误导啦——这个问题本质是shell层面的命令解析错误，和你Python里的pickle.load代码本身没有关系，只是错误触发的时机让它看起来和那行代码挂钩了。

错误根源拆解 #

你看到的报错：

sh: -c: line 0: unexpected EOF while looking for matching `'' 
sh: -c: line 1: syntax error: unexpected end of file

这是shell在解析命令字符串时遇到了未闭合的单引号（或引号不匹配），导致shell无法完整解析命令就提前终止了。

为什么会关联到Python代码？ #

当你提交Spark任务时，Spark会通过shell脚本启动Executor等相关进程。如果你的spark2-submit命令本身存在shell语法问题（比如参数里有未转义的特殊字符），这个错误会在Spark尝试启动进程的环节触发，而此时你的Python代码刚好执行到pickle.load这一步——错误信息就把这个执行节点当成了触发点，但根源不在Python代码本身。

具体排查步骤 #

• 检查变量值的特殊字符
  重点看${my_queue}、${arg1}、${arg2}这几个变量的内容：是否包含单引号、双引号、反斜杠，或者空格、$、`这类shell特殊符号？比如如果${arg1}的值是O'Neil，未转义的单引号会让shell误以为命令在这里结束，直接触发引号不匹配的EOF错误。

• 给变量加双引号包裹
  在sh脚本里把所有变量用双引号括起来，让shell把变量作为整体解析：

  spark2-submit --master local --deploy-mode client --queue "${my_queue}" mypyfile.py "${arg1}" "${arg2}"
  

  这样能避免特殊字符破坏命令的语法结构。

• 直接替换变量验证
  把命令里的变量换成具体的实际值再运行，比如：

  spark2-submit --master local --deploy-mode client --queue "my_test_queue" mypyfile.py "arg1_value" "arg2_value"
  

  如果这样运行正常，就说明是原来的变量值里有问题，针对性处理即可。

内容的提问来源于stack exchange，提问作者formicaman