PySpark与集群Spark Core版本不同时，如何查看Spark Core版本？

以下是几种能直接获取集群Spark Core版本的方法：

• 通过YARN Web UI查看
  访问YARN ResourceManager的Web页面（默认地址为http://<resource-manager-host>:8088），找到任意已运行或历史的Spark应用，进入应用详情页后，在Application Master区域或环境变量列表中，可找到SPARK_VERSION字段，对应的值就是集群的Spark Core版本。如果是已完成的应用，可通过YARN History Server（默认http://<history-server-host>:19888）查询。

• 登录集群节点直接查看
  登录到集群的Worker或Master节点，进入Spark的安装目录，执行以下命令之一：

  cat ./RELEASE
  

  或者

  ./bin/spark-shell --version
  

  这会直接输出集群本地安装的Spark版本，结果最准确。

• 通过Spark任务日志获取
  提交一个简单的测试任务到集群，比如：

  spark-submit --class org.apache.spark.examples.SparkPi examples/jars/spark-examples*.jar 10
  

  任务启动后，在YARN的应用日志中，开头部分会打印Spark的版本信息，类似：

  Spark context version: x.x.x

• 通过Spark配置参数验证
  提交任务时添加配置spark.driver.extraJavaOptions="-Dspark.version.debug=true"，启动后查看驱动日志，会输出集群Spark的版本；也可在已创建的SparkSession中尝试读取配置：

  print(ss.conf.get("spark.version"))
  

  注意：如果本地PySpark与集群版本差异较大，此方法可能返回本地版本，优先使用前三种方法。

内容的提问来源于stack exchange，提问作者fersarr