Spark-Submit提交Python脚本时遇Numpy模块缺失ImportError问题

我在EC2搭建的独立Spark集群上用spark-submit提交Python脚本时，碰到了这个棘手的错误：

ImportError: No module named numpy

我的环境是Python 2.7.9，已经确认整个集群没有其他版本的Python在运行，而且每个Worker节点我都手动登录验证过Numpy是可以正常导入的：

root@10:/usr/local/lib/python2.7/site-packages# python
Python 2.7.9 (default, Jun 29 2016, 13:08:31) 
[GCC 4.9.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy
>>> 

甚至我还手动把Numpy包复制到了/usr/local/lib/python2.7/site-packages目录下，但问题还是没解决。

更新：问题已解决
折腾了半天终于找到原因了！Master节点上有一个Docker镜像安装了Jupyter和Numpy，但我的Spark程序实际是运行在另一个完全没装Numpy的Docker镜像里！

解决方案很直接：

• 找到程序实际运行对应的Docker镜像，在该镜像内安装好Numpy
• 配置PYSPARK_PYTHON和PYTHONPATH环境变量，确保Spark使用的Python环境能正确定位到Numpy包

内容的提问来源于stack exchange，提问作者sparkly