如何在Amazon EMR上运行基于Hadoop 2.7.5构建的自定义JAR？

遇到这种依赖版本不匹配的问题确实头疼，下面给你几个可行的解决方案，你可以根据自己的情况选择：

1. 尝试依赖兼容调整，复用现有EMR版本 #

Hadoop 2.7.x系列的核心API差异极小，2.7.3到2.7.5主要是bug修复而非重大API变更，大概率可以通过调整依赖配置解决报错：

• 首先查看集群报错日志，确定是依赖冲突还是API不兼容。如果是前者，确保你的自定义JAR没有打包Hadoop核心依赖（比如用Maven/Gradle时将Hadoop依赖设为provided scope），让集群自带的Hadoop库提供这些依赖。
• 如果需要指定额外依赖，可以用hadoop jar命令的-libjars参数加载：

  hadoop jar your-custom-jar-file.jar com.your.package.MainClass -libjars /path/to/your/extra-deps.jar
  

2. 通过引导操作替换EMR集群的Hadoop版本为2.7.5 #

如果必须使用Hadoop 2.7.5，可以通过EMR的自定义引导操作替换默认版本：

• 编写一个引导脚本（比如install-hadoop-2.7.5.sh），内容大致包括：
  1. 停止当前运行的Hadoop服务（YARN、HDFS等）
  2. 下载Hadoop 2.7.5二进制包到集群节点
  3. 替换EMR默认的Hadoop安装目录（通常是/usr/lib/hadoop）
  4. 同步原有配置文件（比如core-site.xml、yarn-site.xml）到新安装目录
  5. 重启Hadoop服务
• 将脚本上传到你的S3存储桶，创建EMR集群时添加这个引导操作，指定脚本的S3路径即可。

3. 重新编译JAR适配EMR现有Hadoop版本 #

最稳妥的方案是针对EMR提供的Hadoop版本（2.7.3或2.8.3）重新构建你的JAR：

• 如果你选择2.7.3，因为和2.7.5同属一个大版本分支，代码修改量会非常小，主要是适配一些已修复的bug场景；
• 如果选择2.8.3，需要检查官方的Hadoop版本变更日志，处理少量API变动，但核心功能通常可以无缝迁移。
• 以Maven为例，修改pom.xml中的Hadoop依赖版本：

  <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.7.3</version>
      <scope>provided</scope>
  </dependency>
  

  之后重新打包即可。

4. 创建自定义EMR AMI（适合长期复用场景） #

如果需要多次使用Hadoop 2.7.5的集群，可以创建自定义EMR AMI：

• 先启动一个基础EMR集群，通过引导操作替换Hadoop版本为2.7.5，确保所有服务正常运行；
• 基于该集群的主节点实例创建自定义AMI；
• 后续创建EMR集群时，选择这个自定义AMI，就能直接得到预装Hadoop 2.7.5的集群。

内容的提问来源于stack exchange，提问作者Rajshakhar Paul Rajesh