Docker容器本地模式下PySpark出现异常的技术求助

我之前也踩过类似的坑——本地跑Spark应用完全正常，一放进Docker容器就各种报错，结合Spark 2.3.0的特性和Mac Docker的环境特点，给你梳理几个实际可操作的排查方向：

1. 先确认容器内的Spark基础环境 #

• 检查SPARK_HOME环境变量：执行echo $SPARK_HOME，看看路径是否和本地一致，Spark 2.3.0对这个变量的依赖很强，路径错了直接跑不起来
• 验证Java版本：Spark 2.3.0只支持Java 8（OpenJDK或Oracle JDK都行），别用Java 9及以上版本，执行java -version确认，版本不匹配会有一堆兼容性报错
• 对齐Python环境：如果是PySpark应用，容器内的Python版本必须和本地一致（比如本地是Python 3.6，容器也得是同版本），Spark 2.3.0对Python 3的版本兼容有严格要求

2. 排查文件路径与权限问题 #

• 本地的输入输出文件、依赖包，在容器里是否能访问到？如果是挂载本地目录到容器，一定要检查docker run的挂载命令有没有写错，比如-v /Users/xxx/local_data:/container_data，路径别打错字
• 检查权限：如果容器用非root用户运行，挂载目录可能没有读写权限，试试在容器里执行chmod -R 755 /你的挂载路径，或者挂载时加上--user $(id -u):$(id -g)来对齐本地用户权限

3. 网络与运行模式问题 #

• 确保容器内用的是local模式：本地跑的时候你应该是用spark-submit --master local[*]，容器里别默认用standalone集群模式（除非你在容器里启动了Spark集群），直接指定local模式再试一次
• 试试host网络模式：Mac的Docker网络有时候会有奇怪的限制，运行容器时加上--network host，让容器共享宿主机的网络，看看是不是网络访问导致的问题
• 检查端口：如果你的应用要访问外部服务（比如数据库），确认容器的端口映射是否正确，或者有没有被防火墙挡住

4. 深挖日志找线索 #

• 别只看控制台的简短报错，用spark-submit --verbose test.py启动，会输出更详细的执行日志
• 查看Spark的日志文件：容器内默认日志在$SPARK_HOME/logs目录下，里面的spark-*.out文件会有完整的错误堆栈，这才是定位问题的关键
• 如果是PySpark的问题，可以设置日志级别为DEBUG：export PYSPARK_SUBMIT_ARGS="--conf spark.driver.extraJavaOptions=-Dlog4j.rootCategory=DEBUG,console pyspark-shell"，再运行应用，能看到更多细节

5. 依赖与资源配置 #

• 本地全局安装的Python依赖（比如pandas、numpy），容器里有没有安装？别想当然以为容器会自带，用pip list对比本地和容器的依赖包，缺什么就装什么
• 给容器加内存：Spark很吃内存，默认的Docker容器内存可能不够，运行时加上-m 4g（比如分配4G内存），避免出现OOM（内存溢出）异常

你可以按这个顺序逐一排查，要是能把排查过程中遇到的具体错误信息贴出来，就能更快定位问题了。

内容的提问来源于stack exchange，提问作者Scott Hsieh