You need to enable JavaScript to run this app. AWS EMR Spark应用集群无法运行mrjob MapReduce作业如何修复
优惠活动
大模型
产品
解决方案
定价
更多

AWS EMR Spark应用集群无法运行mrjob MapReduce作业如何修复

问题说明

我正尝试参照mrjob官方文档的示例,在AWS EMR上运行单词统计MapReduce作业。

以下是mrjob提供的单词统计代码示例:

from mrjob.job import MRJob

class MRWordFrequencyCount(MRJob):

    def mapper(self, _, line):
        yield "chars", len(line)
        yield "words", len(line.split())
        yield "lines", 1

    def reducer(self, key, values):
        yield key, sum(values)


if __name__ == '__main__':
    MRWordFrequencyCount.run()

我的mrjob.conf配置文件内容如下:

runners:
  emr:
    aws_access_key_id: <my_key_id>
    aws_secret_access_key: <my_access_key>
    region: ap-southeast-1
    subnet: subnet-9a2f90fc
    ec2_key_pair: EMR
    ec2_key_pair_file: ~/.ssh/EMR.pem
    ssh_tunnel: true

运行命令为:

python word_count.py -r emr --cluster-id=j-CLUSTER_ID readme.rst --conf-path mrjob.conf

遇到的问题:当集群应用选择Core Hadoop时,该示例可以正常运行;但选择Spark应用选项时则无法运行,集群应用选择界面参考:
应用选择界面

在Spark EMR集群运行时的错误信息如下:

Waiting for Step 1 of 1 (s-xxx) to complete...
  PENDING (cluster is RUNNING: Running step)
  FAILED
Cluster j-CLUSTER_ID is WAITING: Cluster ready after last step failed.

由于应用同时包含Spark代码和MapReduce代码,需要在Spark应用的集群上运行该作业,请问该如何修复此问题?


解决方案
  • 首先在mrjob.conf的emr配置段添加Hadoop Streaming jar的显式路径,Spark集群下mrjob有时会自动识别路径失败,新增配置如下:
    hadoop_streaming_jar: /usr/lib/hadoop-mapreduce/hadoop-streaming.jar
    
  • 若你是手动选择EMR集群组件,请确保勾选了Hadoop MapReduce相关组件,默认Spark应用捆绑包会包含该组件,自定义裁剪时不要移除
  • 运行命令中新增指定Hadoop二进制路径参数,避免mrjob调用Spark运行时执行MapReduce作业:
    python word_count.py -r emr --cluster-id=j-CLUSTER_ID readme.rst --conf-path mrjob.conf --hadoop-bin /usr/bin/hadoop
    
  • 若上述操作后仍失败,可登录EMR控制台进入失败步骤的详情页,查看stderr的完整错误日志进一步定位,常见额外问题包括YARN队列权限不足、mrjob版本与EMR版本不兼容,可尝试升级mrjob到最新稳定版解决。

内容的提问来源于stack exchange,提问作者huy

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.11 23:15:01