如何将现有Java Hadoop Job迁移至Google Dataproc？

首先明确一点：Dataproc本质是托管式的Hadoop/YARN集群，你的现有Job配置逻辑几乎可以原封不动复用，但Jar文件是绕不开的——因为YARN需要把你的自定义Mapper/Reducer/Combiner类分发到集群所有节点上。不过我们可以用一些方式简化Jar的处理流程，让迁移尽可能顺畅。

核心迁移思路：复用原有Job逻辑，调整提交方式 #

你的现有Job配置代码完全不需要大改，只需要把代码打包成Jar，然后通过Dataproc的作业提交机制（命令行或Java Client）运行即可。下面分两种常见场景说明：

1. 用gcloud命令行快速提交 #

这是最直接的方式，适合快速验证：

gcloud dataproc jobs submit hadoop \
  --cluster=你的Dataproc集群名 \
  --region=你的集群区域 \
  --jar=gs://你的存储桶路径/你的作业Jar包.jar \
  --main-class=你的主类全路径（就是原来包含Job配置的那个类）

你的主类里的原有代码完全不用改，比如：

public class YourJobMainClass {
  public static void main(String[] args) throws Exception {
    Configuration conf = HBaseConfiguration.create();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(YourJobMainClass.class);
    job.setMapSpeculativeExecution(false);
    job.setCombinerClass(JobCombiner.class);
    job.setReducerClass(JobReducer.class);
    job.setReduceSpeculativeExecution(false);
    // 原有额外配置保留
    job.submit();
  }
}

注意：如果你的作业依赖HBase，创建Dataproc集群时要加上--optional-components=HBASE，确保集群已经集成HBase环境。

2. 用Dataproc Java Client程序化提交 #

如果需要在代码里自动化提交作业，可以用官方Java Client，核心是指定Jar的GS路径和主类，原有Job逻辑依然复用：

import com.google.cloud.dataproc.v1.*;
import java.io.IOException;

public class DataprocHadoopSubmitter {
  public static void main(String[] args) throws IOException {
    String projectId = "你的GCP项目ID";
    String region = "us-central1"; // 你的集群区域
    String clusterName = "你的Dataproc集群名";
    String jarUri = "gs://你的存储桶/你的作业Jar包.jar";
    String mainClass = "com.yourpackage.YourJobMainClass";

    // 初始化Job客户端
    JobControllerSettings settings = JobControllerSettings.newBuilder()
        .setEndpoint(region + "-dataproc.googleapis.com:443")
        .build();

    try (JobControllerClient client = JobControllerClient.create(settings)) {
      // 构建Hadoop作业配置
      HadoopJob hadoopJob = HadoopJob.newBuilder()
          .addJarFileUris(jarUri)
          .setMainClass(mainClass)
          // 如果需要给作业传参数，这里添加
          // .addArgs("input-path", "output-path")
          .build();

      // 构建作业提交请求
      Job job = Job.newBuilder()
          .setPlacement(JobPlacement.newBuilder().setClusterName(clusterName).build())
          .setHadoopJob(hadoopJob)
          .build();

      SubmitJobRequest request = SubmitJobRequest.newBuilder()
          .setProjectId(projectId)
          .setRegion(region)
          .setJob(job)
          .build();

      // 提交作业并返回结果
      Job response = client.submitJob(request);
      System.out.println("作业已提交，ID：" + response.getReference().getJobId());
    }
  }
}

关于“无需提交Jar和主类”的疑问 #

抱歉，这在Hadoop/YARN的架构下是做不到的——集群节点需要你的自定义类文件才能执行Mapper/Reducer逻辑，必须通过Jar包分发。不过可以用这些技巧减少麻烦：

• 提前部署Jar到集群：用Dataproc初始化动作，把常用Jar包提前放到集群所有节点的共享目录（比如/usr/lib/hadoop/lib/），后续提交作业时不用再指定Jar路径。
• 本地运行在集群主节点：如果直接在Dataproc主节点上运行你的Java程序，可以指定本地Jar路径，不用上传到GS。

额外注意事项 #

• 权限：确保提交作业的账号有Dataproc作业提交权限，以及GS存储桶的读写权限。
• 依赖处理：如果你的作业依赖第三方Jar（比如HBase客户端），可以打包成胖Jar（包含所有依赖），或者在提交时用--jars参数指定GS上的依赖Jar路径。

内容的提问来源于stack exchange，提问作者Delantha