You need to enable JavaScript to run this app.
导航
使用说明
最近更新时间:2022.08.18 16:19:47首次发布时间:2021.09.01 17:27:34

1 概述

HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。它有一定高度的容错性,而且提供了高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案。

2 HDFS架构

HDFS 采用 master/slave 架构。一个 HDFS 集群通常由一个 NameNode 和若干 DataNode 组成。在不考虑 NameNode 高可用时,还会有一个 SecondaryNameNode 来负责做元数据的 checkpoint。

3 名词解释

参数名词解释说明

NameNode

是整个文件系统的管理节点:

  • 它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。
  • 它用来接收用户的操作请求,比如文件的打开、关闭、重命名文件或者目录。
  • 它负责确定文件到 block 的映射,以及 block 到具体 DataNode 的映射。

SecondaryNameNode

Hdfs HA 的一个解决方案,但不支持热备。
Hadoop 会维护一个 fsimage 文件,也就是 namenode 中 metedata 的镜像,但是 fsimage 不会随时与 namenode 内存中的 metedata 保持一致,而是每隔一段时间通过合并 edits 文件来更新内容。
Secondary namenode 就是用来合并 fsimage 和 edits 文件来更新 NameNode 的 metedata。

Client客户端代表用户通过与 NameNode 和 DataNode 交互来访问整个文件系统,HDFS 对外开放文件命名空间并允许用户数据以文件形式存储。用户通过客户端(Client)与 HDFS 进行通讯交互。
DataNodeDataNode 是 HDFS 的实际数据存储节点,负责管理它所在节点的存储,客户端的读写请求。定期上报心跳 (Heartbeat) 和块的存储位置信息 (Blockreport) 。DataNode 在 NameNode 的指令下进行数据块的创建、删除、复制。
BlockHDFS 上一个大文件如果大于配置的 blocksize(默认是128MB),会被分成多个数据块 (block) 存储,这些数据块会分散存储在不同的 DataNode 上。
EditLog在 HDFS 发起的创建、删除等操作其实是一个事务,NameNode 会使用事务日志 (EditLog) 来记录文件系统元数据的每一个变化。EditLog 持久化在 NameNode 的本地磁盘上。
FsImageFsImage 是 NameNode 的元数据存储快照,持久化在 NameNode 的本地磁盘上。