AWS EMR Spark应用集群无法运行mrjob MapReduce作业如何修复
问题说明
我正尝试参照mrjob官方文档的示例,在AWS EMR上运行单词统计MapReduce作业。
以下是mrjob提供的单词统计代码示例:
from mrjob.job import MRJob class MRWordFrequencyCount(MRJob): def mapper(self, _, line): yield "chars", len(line) yield "words", len(line.split()) yield "lines", 1 def reducer(self, key, values): yield key, sum(values) if __name__ == '__main__': MRWordFrequencyCount.run()
我的mrjob.conf配置文件内容如下:
runners: emr: aws_access_key_id: <my_key_id> aws_secret_access_key: <my_access_key> region: ap-southeast-1 subnet: subnet-9a2f90fc ec2_key_pair: EMR ec2_key_pair_file: ~/.ssh/EMR.pem ssh_tunnel: true
运行命令为:
python word_count.py -r emr --cluster-id=j-CLUSTER_ID readme.rst --conf-path mrjob.conf
遇到的问题:当集群应用选择Core Hadoop时,该示例可以正常运行;但选择Spark应用选项时则无法运行,集群应用选择界面参考:
在Spark EMR集群运行时的错误信息如下:
Waiting for Step 1 of 1 (s-xxx) to complete... PENDING (cluster is RUNNING: Running step) FAILED Cluster j-CLUSTER_ID is WAITING: Cluster ready after last step failed.
由于应用同时包含Spark代码和MapReduce代码,需要在Spark应用的集群上运行该作业,请问该如何修复此问题?
解决方案
- 首先在
mrjob.conf的emr配置段添加Hadoop Streaming jar的显式路径,Spark集群下mrjob有时会自动识别路径失败,新增配置如下:hadoop_streaming_jar: /usr/lib/hadoop-mapreduce/hadoop-streaming.jar - 若你是手动选择EMR集群组件,请确保勾选了Hadoop MapReduce相关组件,默认Spark应用捆绑包会包含该组件,自定义裁剪时不要移除
- 运行命令中新增指定Hadoop二进制路径参数,避免mrjob调用Spark运行时执行MapReduce作业:
python word_count.py -r emr --cluster-id=j-CLUSTER_ID readme.rst --conf-path mrjob.conf --hadoop-bin /usr/bin/hadoop - 若上述操作后仍失败,可登录EMR控制台进入失败步骤的详情页,查看stderr的完整错误日志进一步定位,常见额外问题包括YARN队列权限不足、mrjob版本与EMR版本不兼容,可尝试升级mrjob到最新稳定版解决。
内容的提问来源于stack exchange,提问作者huy
相关产品推荐
相关产品推荐

