You need to enable JavaScript to run this app.
导航
E-MapReduce
  • 文档首页
    • /
  • E-MapReduce

使用说明

最近更新时间：2022.08.18 16:19:47

首次发布时间：2021.09.01 17:27:34

我的收藏

1 概述

HDFS 全名 Hadoop Distributed File System，是业界使用最广泛的开源分布式文件系统。它有一定高度的容错性，而且提供了高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案。

2 HDFS架构

HDFS 采用 master/slave 架构。一个 HDFS 集群通常由一个 NameNode 和若干 DataNode 组成。在不考虑 NameNode 高可用时，还会有一个 SecondaryNameNode 来负责做元数据的 checkpoint。

3 名词解释

参数名词解释说明

NameNode

是整个文件系统的管理节点：

  • 它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。
  • 它用来接收用户的操作请求，比如文件的打开、关闭、重命名文件或者目录。
  • 它负责确定文件到 block 的映射，以及 block 到具体 DataNode 的映射。

SecondaryNameNode

Hdfs HA 的一个解决方案，但不支持热备。
Hadoop 会维护一个 fsimage 文件，也就是 namenode 中 metedata 的镜像，但是 fsimage 不会随时与 namenode 内存中的 metedata 保持一致，而是每隔一段时间通过合并 edits 文件来更新内容。
Secondary namenode 就是用来合并 fsimage 和 edits 文件来更新 NameNode 的 metedata。

Client客户端代表用户通过与 NameNode 和 DataNode 交互来访问整个文件系统，HDFS 对外开放文件命名空间并允许用户数据以文件形式存储。用户通过客户端（Client）与 HDFS 进行通讯交互。
DataNodeDataNode 是 HDFS 的实际数据存储节点，负责管理它所在节点的存储，客户端的读写请求。定期上报心跳 (Heartbeat) 和块的存储位置信息 (Blockreport) 。DataNode 在 NameNode 的指令下进行数据块的创建、删除、复制。
BlockHDFS 上一个大文件如果大于配置的 blocksize(默认是128MB)，会被分成多个数据块 (block) 存储，这些数据块会分散存储在不同的 DataNode 上。
EditLog在 HDFS 发起的创建、删除等操作其实是一个事务，NameNode 会使用事务日志 (EditLog) 来记录文件系统元数据的每一个变化。EditLog 持久化在 NameNode 的本地磁盘上。
FsImageFsImage 是 NameNode 的元数据存储快照，持久化在 NameNode 的本地磁盘上。