AWS EMR环境下使用PySpark读取S3内Excel文件的Jar依赖与版本报错咨询

场景1报错（spark-excel_2.11-0.12.4.jar） #

• 触发java.lang.NoClassDefFoundError: org/apache/commons/collections4/IteratorUtils的本质是单jar包缺失传递依赖：crealytics-spark-excel 0.12.4版本在运行时需要commons-collections4依赖提供IteratorUtils类，单独上传的单jar包不会自动加载运行所需的传递依赖，直接触发类加载失败。
• 额外版本校验：Scala 2.11编译的jar仅适配EMR 5.x系列（默认Scala 2.11环境），跨版本加载到EMR 6.x及以上（默认Scala 2.12环境）会直接触发兼容问题。

场景2报错（spark-excel_2.12-0.13.5.jar） #

• 触发java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)的本质是Scala大版本不兼容：该版本spark-excel是基于Scala 2.12的API编译生成，若当前EMR集群是Scala 2.11版本（如EMR 5.x系列），两个Scala大版本下scala.Product类的方法签名存在差异，运行时会直接找不到对应方法，触发报错。
• 参数适配说明：该版本spark-excel指定表头的参数已从旧版的useHeader调整为header，当前测试代码的参数写法与版本匹配，核心阻塞点为Scala版本不兼容。

• 第一步先确认EMR集群环境参数：
  登录Master节点执行pyspark --version，根据输出确认Spark对应的Scala编译版本：
  • 输出Scala version 2.11.x，仅允许加载Scala 2.11编译的spark-excel jar
  • 输出Scala version 2.12.x，仅允许加载Scala 2.12编译的spark-excel jar
• 第二步补全运行依赖，避免单jar缺类：
  将匹配集群Scala版本的spark-excel对应的所有传递依赖（含commons-collections4、Apache POI系列依赖）统一上传到同一个S3路径，提交任务时在--jars参数后用英文逗号拼接所有依赖jar的S3路径，不要仅传入单个spark-excel jar。
• 第三步匹配代码参数与jar版本：
  • 若使用Scala 2.11对应的spark-excel 0.12.4版本，读Excel时指定表头的option必须写useHeader，不要使用header参数
  • 若使用Scala 2.12对应的spark-excel 0.13.5及以上版本，读Excel时指定表头的option必须写header，不要使用useHeader参数
• 注意事项：不要混用两个Scala版本的jar包，避免触发类冲突；手动拼凑依赖版本容易出现版本冲突，可通过Spark内置的依赖拉取机制自动加载匹配版本的完整依赖树，减少手动配置成本。

内容的提问来源于stack exchange，提问作者N9909