Kafka写入HDFS触发createBlockOutputStream超时异常求助

我之前在Docker Swarm部署Hadoop+Kafka Connect的场景里碰到过类似的问题，结合你的日志和配置信息，给你几个具体的排查方向：

1. Docker Swarm跨主机网络的连通性问题 #

你的日志里显示Kafka Connect容器无法连接DataNode的50010端口（数据传输专用端口），虽然Hadoop Web控制台正常，但这个端口的连通性是独立的：

• 先在Kafka Connect容器内执行telnet 10.0.0.8 50010和telnet 10.0.0.9 50010，测试端口是否能稳定连通。初期正常后来超时，可能是Swarm overlay网络的会话超时或者连接数耗尽。
• 检查DataNode所在物理机的防火墙规则，确保50010端口允许Kafka Connect所在Swarm节点的入站流量。
• 如果DataNode是运行在Docker容器中，确认Swarm的overlay网络是否正确跨主机配置，有没有出现网络分区的情况。

2. HDFS hostname解析与节点注册问题 #

你已经设置了dfs.client.use.datanode.hostname=true，但还要确认几个细节：

• 检查NameNode返回给客户端的DataNode地址是hostname还是IP？如果NN返回的是IP（比如日志里的10.0.0.8），那可能是DataNode注册时用的是容器内部IP，而非可被跨主机访问的hostname。可以在NN的配置里添加dfs.namenode.datanode.registration.ip-hostname-check=false，允许DN用hostname注册。
• 确保Kafka Connect容器能正确解析DataNode的hostname：查看容器内的/etc/hosts，或者确认Swarm的内置DNS服务能正常解析DN的服务名。

3. DataNode的资源瓶颈（文件句柄/并发线程） #

小集群高吞吐正常，但3节点集群出现问题，很可能是DataNode的资源限制被触发：

• 查看DataNode的ulimit -n值，Hadoop对文件句柄数要求很高，建议设置为至少65535。如果文件句柄耗尽，会导致无法建立新连接，进而触发超时。
• 检查HDFS配置dfs.datanode.max.transfer.threads，这个参数控制DN能处理的并发数据传输线程数，默认值可能不够（比如4096），可以调高到8192试试。
• 查看DataNode自身的日志，有没有too many open files或者max transfer threads exceeded这类错误，这些信息不会出现在客户端日志里。

4. Kafka Connect HDFS连接器的配置优化 #

连接器的写入策略可能放大了问题：

• 检查hdfs.batch.size和flush.size是否设置过大，导致一次性写入的数据量超出DN的处理能力，引发IO阻塞和连接超时。可以适当调小这两个参数，降低单批次写入压力。
• 查看retry.backoff.ms和retries参数，如果重试间隔太小，失败后频繁重试会持续占用DN的资源，最终导致DN被NameNode标记为不可用。建议把重试间隔调大到1000ms以上。
• 确认parquet.compression.codec的设置，如果用了GZIP这类高CPU消耗的压缩算法，可能导致DN的CPU占用过高，无法及时响应连接请求，可以换成Snappy这种CPU友好的压缩方式试试。

5. Docker容器的资源限制 #

如果DataNode是运行在Docker容器中，检查Swarm服务的资源限制：

• 执行docker service inspect <datanode-service-name>，查看Resources字段是否设置了过严的CPU或内存限制。当写入压力上来时，容器资源耗尽会导致DN无法处理连接请求，进而触发超时。

先从网络连通性和DataNode资源这两个方向入手排查，这是Swarm部署Hadoop集群最容易踩的坑。

内容的提问来源于stack exchange，提问作者Loic