You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何通过Hortonworks Sandbox运行Python编写的MapReduce脚本

Hortonworks Sandbox 运行MapReduce任务调整方案
  • 第一步:切换工作目录到文件存放路径
    当前终端处于root用户家目录,执行命令切换到Documents目录:
    cd ~/Documents
  • 第二步:上传输入文件到HDFS(若未上传)
    原命令指定读取HDFS路径的u.data文件,若文件仅存在本地未上传HDFS,依次执行以下命令:
    hdfs dfs -mkdir -p /user/root
    hdfs dfs -put u.data /user/root/
  • 第三步:替换占位符执行任务
    将原命令中的[username]占位符替换为当前登录的root用户,最终运行命令如下:
    python RatingsBreakdown.py -r hadoop hdfs:///user/root/u.data --hadoop-streaming-jar /usr/hdp/2.6.2.0-205/hadoop-mapreduce/hadoop-streaming.jar

异常排查补充:
若提示hadoop-streaming.jar不存在,执行find /usr/hdp -name hadoop-streaming.jar查询实际jar包路径,替换命令中对应部分即可;若提示缺少mrjob依赖,执行pip install mrjob安装后重试。

内容的提问来源于stack exchange,提问作者grace0726

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.04 10:57:00