修改PySpark源码调试：Shell生效spark-submit无效问题排查

这问题我之前碰过类似的，Spark 2.1.0版本里PySpark Shell和spark-submit的Python代码加载机制确实有差异，咱们来拆解原因和解决办法：

核心差异原因 #

1. PySpark Shell的源码加载逻辑 #

PySpark交互式Shell启动时，会直接读取$SPARK_HOME/python/pyspark目录下的源码文件——毕竟是交互式环境，要支持实时修改和调试，所以你改完rdd.py后，Shell能立刻用上修改后的代码。

2. spark-submit的打包加载逻辑 #

而spark-submit在Spark 2.1.0里默认会用Spark预打包好的pyspark.zip（一般在$SPARK_HOME/python/lib/目录下），这个压缩包是Spark发布时就封装好的原始PySpark代码，完全绕开了你本地修改的$SPARK_HOME/python/pyspark/rdd.py，所以你的修改自然没效果，哪怕是本地运行spark-submit也是如此。

可行的解决方案 #

方案一：给spark-submit指定修改后的文件 #

启动spark-submit时，用--py-files参数强制加载你修改后的rdd.py或者整个pyspark目录：

# 仅加载修改后的rdd.py
spark-submit --py-files $SPARK_HOME/python/pyspark/rdd.py your_job_script.py

# 或者打包整个修改后的pyspark目录，更彻底
cd $SPARK_HOME/python
zip -r pyspark_custom.zip pyspark/
spark-submit --py-files pyspark_custom.zip your_job_script.py

方案二：替换Spark自带的pyspark.zip #

如果你希望所有任务（包括Shell和spark-submit）都用修改后的代码，可以替换Spark自带的压缩包：

cd $SPARK_HOME/python
# 先备份原始文件
cp lib/pyspark.zip lib/pyspark.zip.bak
# 将修改后的pyspark目录重新打包成zip替换原文件
zip -r lib/pyspark.zip pyspark/

⚠️ 注意：这是全局修改，会影响所有使用该Spark实例的任务，测试完成后记得恢复备份。

方案三：通过环境变量指定源码路径 #

在启动spark-submit前设置PYSPARK_PYTHONPATH，让Python优先加载本地的pyspark源码目录：

export PYSPARK_PYTHONPATH=$SPARK_HOME/python
spark-submit your_job_script.py

验证修改是否生效的小技巧 #

可以在你修改的rdd.py代码里加一句打印日志，比如：

# 在你添加的休眠逻辑附近加入
print("[DEBUG] Modified rdd.py is executing sleep logic!")

然后分别在PySpark Shell和spark-submit中运行任务，查看控制台是否输出这条日志，就能确认修改是否被加载。

另外提一句：Spark 2.1.0是比较老的版本了，后续版本（比如3.x系列）在PySpark的代码加载机制上做了优化，类似的自定义修改场景会更直观，如果有条件建议升级~

内容的提问来源于stack exchange，提问作者femibyte