使用KNIME读取Hadoop集群文件时遭遇BlockMissingException异常

问题详情 #

异常信息：org.apache.hadoop.hdfs.BlockMissingException - Could not obtain block: BP-788889731-172.18.0.7-1689243803391:blk_1073741840_1016 file=/data/openbeer/breweries/breweries.csv
环境：本地Docker部署的Hadoop集群，KNIME已成功建立HDFS连接并能查看文件目录结构，但无法读取目标CSV文件；已确认集群节点状态正常，尝试过同类问题的常规修复方案。

排查与修复步骤 #

• 检查HDFS文件块的完整性
  执行HDFS文件系统检查命令，定位块的状态与位置：

  hdfs fsck /data/openbeer/breweries/breweries.csv -files -blocks -locations
  

  若输出显示目标块缺失或损坏，说明文件写入HDFS时出现异常，直接重新上传文件即可。

• 验证Docker数据节点的网络可达性
  KNIME读取HDFS块时直接连接数据节点（默认端口50010），而非仅通过NameNode，需确保主机能访问数据节点容器：

  1. 查看数据节点容器的IP与端口映射：

     docker ps | grep datanode
     

  2. 在KNIME所在主机测试端口连通性：

     ping <数据节点容器IP>
     telnet <数据节点容器IP> 50010
     

     若连通失败，可切换Docker网络为host模式，或确保数据节点的50010端口已正确映射到主机。

• 调整HDFS副本配置适配单节点集群
  本地Docker集群通常仅部署1个数据节点，若HDFS默认副本数（3）大于可用节点数，会导致块无法完成复制：

  1. 修改集群hdfs-site.xml中的dfs.replication参数为1
  2. 重启HDFS集群
  3. 对目标文件设置副本数：

     hdfs fs -setrep 1 /data/openbeer/breweries/breweries.csv
     

• 同步KNIME与集群的Hadoop配置
  确保KNIME使用的core-site.xml、hdfs-site.xml配置文件与Docker集群完全一致，重点核对fs.defaultFS、dfs.namenode.rpc-address等地址类参数，避免因配置不匹配导致无法定位数据节点。

内容的提问来源于stack exchange，提问作者Meecrop67