如何管理HDP 2.6（RedHat 7.x）Hadoop集群中的损坏文件/块

针对你在HDP 2.6（部署在RHEL7.x服务器）集群里遇到的损坏文件和块问题，结合你已经用hdfs fsck -list-corruptfileblocks定位到具体文件的情况，我整理了一套实操性的处理流程，你可以一步步来：

一、先搞清楚损坏块的具体状态 #

你现在已经知道哪些文件有问题，但还需要更细节的信息——比如块的副本分布、哪些DataNode上的副本损坏了。针对单个损坏文件执行以下命令：

su hdfs
hdfs fsck /localhdp/Rtrone/intercept_by_type/2018/4/10/16/2018_4_03_11_45.parquet/part-00002-be0f80a9-2c7c-4c50-b18d-db0f94a98cff.snly.parquet -files -blocks -locations

这个命令会返回文件的完整块信息、每个块的存储节点，以及明确标记出损坏的副本位置，帮你判断能不能自动修复。

二、先试试手动触发自动修复（如果有可用副本） #

HDFS本身会自动尝试修复损坏的块，但有时候可能因为租约问题或者集群负载高没触发成功，你可以手动触发修复：

• 先确认下集群的副本配置dfs.replication（默认是3），确保有足够的DataNode来存储新副本；
• 针对损坏文件执行租约恢复命令，让NameNode重新复制可用的块副本：

hdfs debug recoverLease /localhdp/Rtrone/intercept_by_type/2018/4/10/16/2018_4_03_11_45.parquet/part-00002-be0f80a9-2c7c-4c50-b18d-db0f94a98cff.snly.parquet

执行完后再用fsck命令检查状态，看损坏块是否已经修复。

三、没有可用副本时的两种选择 #

如果损坏块的所有副本都挂了，那只能二选一：删除损坏文件，或者从备份恢复。

1. 删除损坏文件（谨慎操作！） #

如果你确认这个文件没有备份，而且业务上可以丢弃，那可以执行以下步骤删除：

# 切换到hdfs用户（必须用这个用户操作HDFS文件）
su hdfs
# 删除单个损坏文件
hdfs dfs -rm /localhdp/Rtrone/intercept_by_type/2018/4/10/16/2018_4_03_11_45.parquet/part-00002-be0f80a9-2c7c-4c50-b18d-db0f94a98cff.snly.parquet
# 清理fsck记录里的损坏文件标记
hdfs fsck / -delete

hdfs fsck / -delete会批量移除所有标记为损坏且无法修复的文件，执行前一定要确认这些文件都可以删除！

2. 从备份恢复（优先推荐） #

如果有离线备份、Hive表快照或者其他存储的副本，把备份文件重新上传到HDFS的原路径即可：

# 假设备份文件在本地服务器的/backup目录下
su hdfs
hdfs dfs -put /backup/part-00002-be0f80a9-2c7c-4c50-b18d-db0f94a98cff.snly.parquet /localhdp/Rtrone/intercept_by_type/2018/4/10/16/2018_4_03_11_45.parquet/
# 上传后重新检查文件状态，确保没问题
hdfs fsck /localhdp/Rtrone/intercept_by_type/2018/4/10/16/2018_4_03_11_45.parquet/part-00002-be0f80a9-2c7c-4c50-b18d-db0f94a98cff.snly.parquet

四、预防后续再出问题的小建议 #

• 定期跑hdfs fsck /检查集群健康，建议加到crontab里（比如每周一次），提前发现问题；
• 监控DataNode的磁盘状态，用smartctl之类的工具定期检查磁盘健康，避免因为磁盘损坏导致块丢失；
• 给重要目录开启HDFS快照，定期创建快照，万一再出问题可以快速恢复：

# 先开启目录的快照功能
hdfs dfs -allowSnapshot /localhdp/Rtrone/intercept_by_type
# 创建一个快照（命名可以按日期来）
hdfs dfs -createSnapshot /localhdp/Rtrone/intercept_by_type snap_20240520

• 检查dfs.replication配置，重要数据可以适当提高副本数（比如从3调到4），提升冗余度。

内容的提问来源于stack exchange，提问作者enodmilvado