校验和计算方式、HDFS校验和输出解析及CRC32计算疑问

嘿，让我逐个帮你拆解这些关于HDFS校验和的问题：

1. 校验和的计算方式是什么？ #

在HDFS里，校验和采用基于数据块的分层校验逻辑：

• 首先，HDFS会把大文件分割成默认128MB的数据块（可通过配置调整），每个数据块又被拆分成512字节的最小校验单元（chunk）。
• 对每个512字节的chunk，默认使用CRC32C算法计算校验和。
• 这些chunk的校验和会被单独存在一个关联的校验文件里，和对应的数据块一起存储在DataNode上。当读取数据时，HDFS会重新计算读取到的chunk校验和，和存储值对比，以此验证数据是否损坏。

2. hdfs dfs -checksum /file.txt输出的计算逻辑是什么？ #

先拆解你给出的输出：

/file.txt MD5-of-0MD5-of-512CRC32C 000002000000000000000000ccfadcfdcff630efa5628fb72620d535

可以分成三个核心部分理解：

• 第一部分：/file.txt 就是你要校验的目标文件路径，这个很直观。
• 第二部分：MD5-of-0MD5-of-512CRC32C 是算法组合标识，翻译过来是：
  1. 先对文件中每个512字节的chunk计算CRC32C校验和；
  2. 把所有这些CRC32C值拼接起来，再计算一个MD5（这就是MD5-of-512CRC32C的含义）；
  3. 这里的MD5-of-0表示你的文件长度刚好是512字节的整数倍，没有剩余的不足512字节的chunk，所以不需要对剩余部分单独计算校验和。
• 第三部分：那串长十六进制值分为两段：
  1. 前24个字符（000002000000000000000000）是文件长度，转换成十进制是512字节，刚好对应一个完整的512字节chunk；
  2. 后面32个字符（ccfadcfdcff630efa5628fb72620d535）就是前面提到的“所有chunk的CRC32C校验和的MD5值”。

3. CRC32的校验和计算方式是什么？ #

CRC32是一种循环冗余校验算法，生成32位（4字节）的校验值，核心是模2除法运算：

1. 初始化寄存器：把一个32位寄存器初始化为0xFFFFFFFF；
2. 逐字节处理数据：对输入数据的每个字节，先和寄存器的低8位做异或操作；
3. 移位与异或循环：对寄存器进行8次右移操作，每次移位后如果寄存器最低位是1，就将寄存器与CRC32标准生成多项式0xEDB88320异或；如果是0，直接移位即可；
4. 最终取反：处理完所有字节后，把寄存器的值取反，得到的就是最终的CRC32校验和。

补充一下：HDFS默认用的是CRC32C，它是CRC32的变体，使用生成多项式0x1EDC6F41，优势是现代CPU大多有硬件加速指令，计算效率更高。

内容的提问来源于stack exchange，提问作者CrazyMinion