如何修改Google Cloud Dataproc集群主节点的Java版本

两种路径都可实现Java 11切换，生产环境强烈建议在创建新集群阶段提前指定Java版本，直接修改现有运行中集群的配置属于临时方案，存在组件兼容性隐患，仅适合测试场景临时使用。

新建集群指定Java 11（推荐方案） #

• Dataproc 2.0及以上版本的官方镜像原生支持Java 11，创建集群时通过参数指定即可，集群所有主节点、工作节点会统一完成Java版本配置，不会出现组件版本不匹配、节点环境不一致的问题。
• 用gcloud命令创建集群时，直接追加版本指定参数即可，示例命令如下：
  gcloud dataproc clusters create <替换为你的集群名称> --image-version=2.0-debian10 --properties=dataproc:dataproc.java.version=11
• 该方式创建完成后，全局默认Java版本自动生效，Spark、Hadoop等集群内置组件会自动适配Java 11运行环境，不需要额外调整组件配置，后续自动扩容的新节点也会默认使用Java 11，不需要重复配置。

现有运行集群切换Java 11（临时测试方案） #

如果暂时不想重建集群，可手动在所有节点调整配置，注意必须对主节点、所有已存在的工作节点同步操作，否则会出现节点间Java版本不一致，导致任务提交、运行失败：

• 所有节点安装OpenJDK 11，基于Debian的官方镜像执行以下命令：
  sudo apt update && sudo apt install -y openjdk-11-jdk
• 通过系统alternatives机制切换全局默认Java版本，执行命令：
  sudo update-alternatives --config java
  在弹出的交互选项中，选中Java 11对应的序号确认即可，切换后执行java -version验证输出为11版本后再进行后续操作。
• 重启集群所有核心服务，包括HDFS、YARN、Spark等相关组件，否则已经在运行的服务依然会加载旧的Java 8环境，切换不生效。

注意：手动修改现有集群配置后，后续集群自动扩容出来的新工作节点默认还是使用Java 8，需要单独配置节点初始化脚本同步修改；另外2.0以下版本的Dataproc镜像内置的部分组件（比如旧版Hive、Presto）和Java 11存在兼容冲突，运行任务时可能出现类缺失、方法签名不匹配类报错，生产环境不建议使用该方案。

内容的提问来源于stack exchange，提问作者maxmadroad