You need to enable JavaScript to run this app.
导航

快速开始

最近更新时间2022.08.19 18:17:18

首次发布时间2022.08.18 16:19:48

1 执行

  • 格式化一个新的分布式文件系统:

    $ bin/hadoop namenode -format
    
  • 启动Hadoop守护进程:

    $ bin/start-all.sh
    

    Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs).

  • 浏览NameNode网络接口,它的地址默认为:

    • NameNode - http://namenode-name:50070/
  • 将输入文件拷贝到分布式文件系统:

    $ bin/hadoop fs -put conf input
    
  • 运行发行版提供的示例程序:

    $ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
    
  • 查看输出文件:

    • 将输出文件从分布式文件系统拷贝到本地文件系统查看:
    $ bin/hadoop fs -get output output
    $ cat output/*
    
    • 或者在分布式文件系统上查看输出文件:
    $ bin/hadoop fs -cat output/*
    
  • 完成全部操作后,停止守护进程:

    $ bin/stop-all.sh
    

2 Web接口

NameNode 和 DataNode 各自启动了一个内置的Web服务器,显示了集群当前的基本状态和信息。
在默认配置下 NameNode 的首页地址是 http://namenode-name:50070/

  • 这个页面列出了集群里的所有 DataNode 和集群的基本状态。

  • 这个Web接口也可以用来浏览整个文件系统(使用 NameNode 首页上的 "Browse the file system" 链接)。

3 Shell命令

Hadoop 包括一系列的类 Shell 的命令,可直接和 HDFS 以及其他 Hadoop 支持的文件系统进行交互。

  • bin/hadoop fs -help 命令:列出所有 Hadoop Shell 支持的命令。

  • bin/hadoop fs -help command-name 命令:显示关于某个命令的详细信息。

这些命令支持大多数普通文件系统的操作,比如复制文件、改变文件权限等。它还支持一些 HDFS 特有的操作,比如改变文件副本数目。