PySpark中SparkContext的创建进程及运行方式差异咨询

问题1：究竟是哪个进程创建SparkContext？ #

• 实际核心的SparkContext实例是在JVM Driver进程中创建的，但触发这个创建动作的是Python主进程。
• 具体流程：当你在Python脚本里初始化SparkContext（或是SparkSession，底层会创建SparkContext）时，PySpark会自动启动一个JVM Driver进程（如果还没启动），接着通过Py4J桥接机制，让Python代码触发JVM端生成真正的SparkContext实例。Python端拿到的SparkContext只是个代理对象，所有对它的操作都会通过Py4J转发到JVM端的实际实例执行。
• 你的猜测搞反了：不是JVM创建好再传给Python，而是Python主动触发JVM创建，并通过代理来操作实例。

问题2：spark-submit运行时，是否由JVM进程创建SparkContext？两种运行方式的差异？ #

• 不管用spark-submit还是直接跑python3 my_pyspark.py，核心的SparkContext实例都是JVM Driver进程创建的，触发逻辑也完全一致，只是启动入口不同：
  • 直接用python3运行：Python解释器先启动，当执行到Spark相关代码时，PySpark负责拉起JVM Driver进程，后续流程和问题1里说的一样。
  • 用spark-submit运行：spark-submit是Java编写的工具，它会先启动JVM Driver进程，然后在这个JVM内部启动Python解释器来执行你的脚本。后续创建SparkContext的流程和直接运行没有区别——还是Python脚本触发JVM端创建核心实例，Python端持有代理。
• 两种方式的本质差异只是启动顺序不同：直接运行是Python先启动再拉JVM；spark-submit是JVM先启动再拉Python，但SparkContext的创建主体和触发逻辑完全没区别。

内容的提问来源于stack exchange，提问作者kee