MapReduce任务中DataNode间数据块迁移方法及相关问题咨询

一、可行的数据块迁移方法 #

• Hadoop自带工具/命令：
  • 集群全局平衡：使用hdfs balancer命令，它会根据各DataNode的存储使用率自动迁移数据块，你可以在任务执行的任意阶段手动触发，不过它是全局层面的平衡操作，而非针对单个特定块。
  • 手动指定块迁移：先通过hdfs fsck /path/to/target/file -files -blocks -locations获取目标块的ID、源DataNode地址，再执行hdfs dfsadmin -moveBlock <块ID> <源DataNode> <目标DataNode>，实现精准迁移指定块。
  • 单节点磁盘间迁移：如果是同一DataNode内不同磁盘的块迁移，使用hdfs diskbalancer工具即可。
• 无需修改MapReduce示例代码的自定义触发：
  你不需要改动mapreduce-example.jar的代码，只需编写简单脚本，通过监听YARN任务状态（或者在提交任务的脚本中插入触发逻辑），在Map执行中/完成后、Reduce执行中调用上述Hadoop迁移命令即可。

二、迁移后MapReduce任务能否正常完成 #

只要通过Hadoop官方工具/命令进行迁移，任务完全可以正常完成：

• Map执行中：MapTask优先从本地DataNode读取块，如果块被迁移，它会自动切换到其他副本所在的DataNode拉取数据，不会中断任务。
• Map完成后/Reduce执行中：Reduce阶段拉取的是Map输出的中间块，这些块的位置变更会被NameNode跟踪，ReduceTask会自动获取最新的块存储位置，不影响任务推进。
• 但如果用scp手动拷贝块，会导致元数据与实际存储不一致，大概率会让任务因找不到块而失败。

三、scp迁移的问题与元数据更新 #

• 直接用scp拷贝DataNode上的块文件是错误操作：Hadoop的块有严格的校验和、副本管理机制，手动拷贝的块不会被集群识别，反而会引发数据不一致问题。
• NameNode不会自动更新手动scp后的块元数据：只有通过Hadoop官方工具/命令迁移时，工具会主动通知NameNode更新块的位置信息，NameNode才会同步元数据。如果手动用scp迁移，NameNode依然认为块在原DataNode，若原DataNode的块被删除，就会出现块丢失的情况。

内容的提问来源于stack exchange，提问作者arthur seokwon choi