EMR集群执行Hadoop DistCp时GCS Connector报ClassNotFoundException

核心原因 #

hadoop fs类命令运行在主节点客户端，只要主节点classpath包含GCS Connector就能正常执行；但DistCp是MapReduce任务，会分发到所有从节点的TaskManager执行，必须保证所有从节点的classpath都能加载到GCS Connector Jar包——这就是你只在MapReduce任务中报错的关键。

解决方案步骤 #

1. 确保GCS Jar包在所有节点的统一加载路径 #

把gcs-connector jar包放到集群所有节点的/usr/lib/hadoop/lib/目录下（该目录是Hadoop默认全局classpath目录，所有节点启动时会自动加载）：

• 手动操作：逐个节点上传jar包，执行chmod 644 /usr/lib/hadoop/lib/gcs-connector-hadoop3-latest.jar设置权限
• 批量操作（推荐）：用EMR Bootstrap Action脚本在集群启动时自动分发jar包，示例脚本：

  #!/bin/bash
  aws s3 cp s3://your-bucket/path/to/gcs-connector-hadoop3-latest.jar /usr/lib/hadoop/lib/
  chmod 644 /usr/lib/hadoop/lib/gcs-connector-hadoop3-latest.jar
  

2. 修正MapReduce应用Classpath配置 #

检查mapred-site.xml中的mapreduce.application.classpath，确保包含Hadoop lib目录（已放入jar包的路径），示例配置：

<property>
  <name>mapreduce.application.classpath</name>
  <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*:/usr/lib/hadoop/lib/*</value>
</property>

注：EMR默认配置可能已包含/usr/lib/hadoop/lib/*，若之前手动修改过需确认该路径存在。

3. 验证从节点的Classpath配置 #

在任意从节点执行以下命令，确认GCS类可正常加载：

# 检查classpath是否包含GCS Jar包
hadoop classpath | grep gcs-connector
# 直接尝试加载目标类
hadoop com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem

若能正常输出类信息，说明从节点配置生效。

4. 重启YARN服务（若修改了配置文件） #

在主节点执行：

sudo stop yarn
sudo start yarn

确保配置修改在整个YARN集群中生效。

5. 改用EMR官方GCS集成方式（更稳定） #

避免手动配置失误，创建EMR集群时直接指定GCS相关参数，EMR会自动部署Connector：

• 在集群创建时添加core-site.xml配置：

  <property>
    <name>fs.gs.impl</name>
    <value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem</value>
  </property>
  <property>
    <name>google.cloud.auth.service.account.json.keyfile</name>
    <value>/path/to/your-service-account-key.json</value>
  </property>
  <property>
    <name>fs.gs.project.id</name>
    <value>your-gcp-project-id</value>
  </property>
  

• 同时确保集群安装了Hadoop相关组件（通过--applications参数指定）。

内容的提问来源于stack exchange，提问作者Abhinav Rai