Spark submit使用Python虚拟环境提交YARN集群任务失败求助

报错核心原因 #

./environment/bin/python: Syntax error: "(" unexpected 报错的本质是YARN集群节点的操作系统无法正常识别、执行你上传的虚拟环境内的Python二进制文件，系统误将二进制文件当做Shell脚本解析才会抛出括号语法错误。

常见诱因 #

• 虚拟环境打包的操作系统与集群节点不兼容：若你是在macOS、Windows或者和集群CPU架构（如本地为x86、集群为ARM，或反之）不同的环境下打包的virtualenv，其中的Python二进制无法在集群Linux节点上运行，会直接触发该报错。
• 打包时未保留虚拟环境的软链接：virtualenv中的bin/python默认是指向实际Python解释器的软链接，如果你打包时没有保留软链接（比如用了默认会把软链接转成普通文件的压缩工具，或压缩参数配置错误），会导致Python解释器文件损坏无法执行。
• 压缩包本身损坏：上传到HDFS的dependencies.zip文件传输过程中损坏，或者YARN节点解压时出错，导致解压后的Python二进制文件不完整。

解决步骤 #

• 优先在和集群节点同操作系统、同CPU架构的环境下打包虚拟环境，推荐直接使用集群同版本的Linux节点打包，从根源避免跨架构兼容性问题。
• 打包时添加保留软链接的参数：如果用zip打包，需要加-y参数，示例打包命令：

cd <你的虚拟环境根目录>
zip -ry dependencies.zip ./*

• 打包完成后先在本地测试解压后的虚拟环境可用性：

unzip dependencies.zip
cd bin
./python --version

可正常输出Python 3.7版本号后，再上传到HDFS替换原有压缩包即可。

• 临时验证提交参数是否正常：可先把PYSPARK_PYTHON改成集群节点上已存在的Python 3.7路径运行测试，排除Spark提交参数配置问题，确认参数无误后再聚焦排查虚拟环境本身即可。

内容的提问来源于stack exchange，提问作者Richa Gaur