Druid数据摄入时无法连接到流，已排查部分环节求解决

问题场景 #

执行Druid流式数据摄入任务时，触发unable to connect to the stream in Druid ingestion错误，导致任务无法完成数据拉取与摄入。

排查过程 #

已确认以下基础配置无问题：

• Kafka bootstrap servers地址正确，可正常连通
• 目标topic存在且状态正常，无权限或连通性障碍

根因定位 #

问题核心与Kafka offset相关：数据源（Kafka）的消息保留周期过短，Druid任务尝试读取的offset对应的消息已被Kafka清理，导致无法拉取有效数据，最终触发该连接类错误。

解决方案 #

• 调整Kafka消息保留周期：修改Kafka集群配置中的log.retention.hours（或对应时间单位参数），设置为足够覆盖Druid摄入延迟的时长，确保Druid需要读取的消息在保留周期内存在
• 重置Druid摄入起始offset：若为首次摄入任务，可在Druid ingestion spec中将startOffset配置为earliest（指向Kafka当前保留的最早可用offset）；若为存量任务，可手动指定当前可用的起始offset值
• 增加监控：配置监控告警，跟踪Kafka消息保留时长、Druid摄入任务的offset进度，提前发现offset越界风险

内容的提问来源于stack exchange，提问作者Ashok