如何在Google Dataproc上运行Spark 3.2.0并使用pandas on PySpark功能

• 版本不兼容：你本地conda安装的pyspark 3.2.0内置的Java类、通信协议和Dataproc集群原生部署的Spark 3.1.2服务端完全不匹配。你仅修改了本地shell的SPARK_HOME指向3.2版本的Python包路径，但集群YARN调度、Executor运行时调用的仍是3.1版本的Java jar包，两端版本不一致直接导致参数解析报错、进程通信异常，你遇到的java.lang.NumberFormatException和Driver失联都是这个原因导致的。
• 环境变量生效范围错误：你手动export的环境变量仅对当前主节点的shell会话生效，集群Worker节点、YARN启动的Executor容器完全读不到这些配置，任务分发到Worker运行时会调用默认的Python环境和Spark版本，直接触发容器异常退出。
• conda内置pyspark缺少集群适配组件：conda源里的pyspark默认只带本地运行所需的最小依赖，没有适配Dataproc的GCS存储集成、YARN调度、Kerberos认证等专属组件，跑分布式任务时必然会缺失依赖报错。

方案1：自定义集群镜像（生产环境首选，稳定性最高） #

• 基于对应版本的官方Dataproc基础镜像，卸载镜像中原有的Spark 3.1.2组件
• 下载与镜像内置Hadoop版本兼容的Spark 3.2.0官方预编译包，替换原有Spark安装目录，保留Dataproc原生的spark/conf配置目录，确保原有GCS connector、YARN调度等配置可以正常复用
• 将构建好的自定义镜像上传到你的Google云容器镜像服务，创建Dataproc集群时直接指定该自定义镜像即可，conda环境仅需安装pandas、pyarrow等pandas on Spark依赖，无需手动修改SPARK_HOME

方案2：初始化动作部署（适合快速测试，灵活度高） #

• 编写集群初始化脚本，所有节点创建时自动执行以下操作：
  1. 下载匹配Hadoop版本的Spark 3.2.0预编译包到所有节点的/opt/spark-3.2.0路径
  2. 替换原有/usr/lib/spark软链接指向新的Spark安装路径，将原有Dataproc的配置目录软链到新Spark的conf目录
  3. 将需要的环境变量写入/etc/profile.d/spark3.sh，确保所有进程、所有节点的会话都能读取到统一配置
  4. 用conda全局安装pyspark 3.2.0、pandas>=1.4、pyarrow>=6.0等pandas on Spark必须依赖
• 创建Dataproc集群时在控制台或gcloud命令中指定该初始化脚本，等待脚本执行完成即可直接使用Spark 3.2

方案3：任务级别指定版本（适合单次临时运行） #

• 提交pyspark任务时通过参数指定Executor端的环境和依赖，确保Driver和Executor版本完全一致：

  gcloud dataproc jobs submit pyspark your_script.py \
    --cluster your_cluster_name \
    --jars gs://your_bucket/spark3.2-jars/* \
    --conf spark.yarn.appMasterEnv.SPARK_HOME=/opt/conda/miniconda3/envs/pyspark/lib/python3.9/site-packages/pyspark \
    --conf spark.executorEnv.SPARK_HOME=/opt/conda/miniconda3/envs/pyspark/lib/python3.9/site-packages/pyspark \
    --conf spark.executorEnv.PYSPARK_PYTHON=/opt/conda/miniconda3/envs/pyspark/bin/python
  

  提前将Spark 3.2.0的所有依赖jar包上传到你的GCS桶，通过--jars参数统一加载。

内容的提问来源于stack exchange，提问作者figs_and_nuts