EMR Serverless是否支持custom Hadoop jar运行MapReduce作业
EMR Serverless 自定义Hadoop Jar提交MapReduce作业支持情况
明确结论:EMR Serverless 目前不支持类似传统EMR的、通过自定义Hadoop Jar直接提交运行原生MapReduce作业的能力,相关细节如下:
- 目前EMR Serverless官方支持的作业驱动仅包含Spark、Hive两类,没有开放原生MapReduce作业的运行入口,也未提供和传统EMR
custom Hadoop jar对应的提交配置项,无法直接提交原生MapReduce作业运行。 - 如有MapReduce类作业的运行需求,可参考两类可行方案:
- 优先将原有MapReduce作业逻辑迁移至Spark实现,通过EMR Serverless的Spark作业驱动提交。Spark可覆盖绝大多数MapReduce场景的数据处理需求,且在EMR Serverless环境下有完整的性能、稳定性适配优化。
- 若需要运行未经改造的原生MapReduce作业,建议选用传统EMR集群,通过Step配置自定义Hadoop Jar的方式提交,这是目前官方支持的原生MapReduce作业标准运行路径。
内容的提问来源于stack exchange,提问作者Avik Das
相关产品推荐
相关产品推荐

