为何无法用python命令运行PySpark脚本？spark-submit与python命令差异

为什么python wordcount.py text.txt会报错？ #

直接用系统Python命令运行时，你的Python环境找不到pyspark模块——因为你是通过Spark安装包手动部署的PySpark，系统默认的Python路径里并没有包含PySpark的库文件。而spark-submit命令会自动帮你配置好PySpark的依赖路径、环境变量，确保脚本能正确导入PySpark模块。

spark-submit与python命令的核心差异 #

• 环境配置：spark-submit会自动加载Spark的全套依赖，设置PYTHONPATH等环境变量，把PySpark的库和相关依赖（比如py4j）加到Python的搜索路径中；而python命令用的是系统默认的Python环境，没有这些额外配置，自然找不到PySpark。
• 执行模式：spark-submit是Spark官方的提交工具，既可以本地单进程运行，也能提交到分布式集群，会自动启动Spark的Driver和Executor进程，利用Spark的分布式计算能力；直接用python命令运行，就算手动配好路径，也只能以普通Python脚本的方式单进程执行，无法调用Spark的分布式资源。
• 依赖管理：spark-submit支持通过--packages、--jars等参数指定额外的Java/Python依赖，会自动把这些依赖分发到集群的所有节点；而python命令需要你手动确保当前环境已经安装好所有依赖，无法处理分布式场景下的依赖分发。

Jupyter Notebook运行PySpark是否和python命令类似？ #

不完全一样。如果直接打开普通的Jupyter Notebook运行PySpark脚本，结果会和python命令一样报错，因为环境没配置。但你可以通过两种方式让Jupyter支持PySpark：

1. 先配置环境变量，再启动Jupyter：

   export PYSPARK_PYTHON=python3
   export PYSPARK_DRIVER_PYTHON=jupyter
   export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
   ./spark-3.4.0-bin-hadoop3/bin/pyspark
   

   这样启动的Jupyter会自动加载PySpark的环境，能正常运行Spark代码。
2. 在普通Jupyter中手动配置SparkContext：
   在脚本开头添加Spark的路径配置，比如：

   import sys
   sys.path.append("./spark-3.4.0-bin-hadoop3/python")
   sys.path.append("./spark-3.4.0-bin-hadoop3/python/lib/py4j-0.10.9.7-src.zip") # 注意替换成你的py4j版本
   from pyspark import SparkContext
   sc = SparkContext("local", "WordCount")
   

   这种方式和手动配置python命令的环境类似，只能本地单进程运行，无法利用分布式集群。

附：如果非要用python命令运行怎么办？ #

你可以先手动设置PYTHONPATH，再运行脚本：

export PYTHONPATH=$PYTHONPATH:./spark-3.4.0-bin-hadoop3/python:./spark-3.4.0-bin-hadoop3/python/lib/py4j-*.zip
python wordcount.py text.txt

但这种方式只能本地单进程执行，失去了Spark分布式计算的意义，仅适合测试简单代码。

内容的提问来源于stack exchange，提问作者marietar