如何通过Hortonworks Sandbox运行Python编写的MapReduce脚本
Hortonworks Sandbox 运行MapReduce任务调整方案
- 第一步:切换工作目录到文件存放路径
当前终端处于root用户家目录,执行命令切换到Documents目录:cd ~/Documents - 第二步:上传输入文件到HDFS(若未上传)
原命令指定读取HDFS路径的u.data文件,若文件仅存在本地未上传HDFS,依次执行以下命令:hdfs dfs -mkdir -p /user/roothdfs dfs -put u.data /user/root/ - 第三步:替换占位符执行任务
将原命令中的[username]占位符替换为当前登录的root用户,最终运行命令如下:python RatingsBreakdown.py -r hadoop hdfs:///user/root/u.data --hadoop-streaming-jar /usr/hdp/2.6.2.0-205/hadoop-mapreduce/hadoop-streaming.jar
异常排查补充:
若提示hadoop-streaming.jar不存在,执行find /usr/hdp -name hadoop-streaming.jar查询实际jar包路径,替换命令中对应部分即可;若提示缺少mrjob依赖,执行pip install mrjob安装后重试。
内容的提问来源于stack exchange,提问作者grace0726
相关产品推荐
相关产品推荐

