分布式模式下Kafka Connect（SpoolDir）REST请求EOFException问题求助

我之前维护分布式Kafka Connect集群时碰到过几乎一模一样的问题，结合你的错误日志和配置文件来看，核心问题大概率出在分布式模式下Worker的REST通信配置上，下面是一步步的排查和解决方案：

1. 优先修正REST主机名绑定配置 #

你的配置里设置了rest.hostname=localhost，这在独立模式下没问题，但分布式模式下，Connect Worker之间需要互相转发REST请求，绑定localhost会导致其他节点无法访问当前Worker的REST服务，直接引发连接中断并抛出EOFException。

解决方法：把rest.hostname修改为Worker节点的集群内可访问IP/主机名，或者直接设置为0.0.0.0允许绑定所有网卡：

rest.hostname=0.0.0.0

同时确认rest.port=28082在集群内是完全可达的，防火墙、安全组或者Kubernetes网络策略（如果是K8s环境）没有拦截这个端口。

2. 确保所有Worker的配置完全一致 #

分布式模式下，集群内所有Connect Worker的配置必须严格统一，否则会出现节点间通信异常：

• 确认所有Worker的bootstrap.servers、group.id完全相同
• 检查offset.storage.topic、config.storage.topic、status.storage.topic的配置（比如副本数）在所有Worker上一致
• 验证SSL相关配置（包括producer的SSL配置）在所有节点上没有差异

3. 配置Worker间REST通信的SSL（如果需要） #

你的Kafka集群启用了SSL，但如果Worker之间的REST通信也需要加密，需要补充REST相关的SSL配置参数（否则转发请求时会因为SSL不匹配导致连接断开）：

rest.ssl.truststore.location=<truststore-location>
rest.ssl.truststore.password=<truststore-password>
rest.ssl.keystore.location=<keystore-location>
rest.ssl.keystore.password=<keystore-password>
rest.ssl.key.password=<key-password>

把这些参数添加到所有Worker的配置文件中，确保Worker之间的REST通信采用和Kafka一致的SSL策略。

4. 调整Jetty连接超时参数 #

错误日志里的to=522046/0提示可能存在连接超时问题，可以尝试增加REST客户端的超时时间：

rest.client.connection.timeout.ms=30000
rest.client.request.timeout.ms=60000

这能避免因为请求处理耗时较长导致连接被提前断开。

5. 验证SpoolDir连接器的分布式兼容性 #

虽然独立模式正常，但分布式模式下要注意：

• 如果使用本地目录作为SpoolDir的源目录，所有Worker节点必须有相同的目录路径和读写权限；如果是共享存储（比如NFS、S3），要确保所有节点都能正常挂载访问
• 检查连接器配置中是否有依赖本地环境的参数，避免部分Worker无法处理任务进而影响REST请求的转发

按照这个顺序排查，一般能快速解决问题，我当时就是修改了rest.hostname之后立即恢复了正常。

内容的提问来源于stack exchange，提问作者Ishani Vij