Kafka-Connect服务启动时日志报NullPointerException异常问题求助

你遇到的空指针是Kafka 2.6.0版本分布式模式下的已知问题，触发原因是Connect存储配置的内部topic（默认connect-configs）中存在非法空值消息，服务启动读取该topic数据时触发空指针异常。

排查步骤 #

• 首先确认你Connect服务配置中config.storage.topic参数的取值，默认值为connect-configs
• 使用Kafka自带脚本读取该topic的全量数据，检查是否存在空value或者格式非法的记录：

kafka-console-consumer.sh --bootstrap-server <你的broker访问地址> \
--topic connect-configs \
--from-beginning \
--property print.key=true

如果输出中存在value为空的记录，即可确认根因。

解决方案 #

场景1：可接受丢失现有连接器配置（测试环境、有配置备份） #

• 停止所有Kafka Connect节点
• 删除Connect对应的三个内部topic：

kafka-topics.sh --bootstrap-server <你的broker访问地址> --delete --topic connect-configs
kafka-topics.sh --bootstrap-server <你的broker访问地址> --delete --topic connect-offsets
kafka-topics.sh --bootstrap-server <你的broker访问地址> --delete --topic connect-status

• 重启所有Kafka Connect节点，服务会自动创建符合要求的内部topic
• 重新提交你的RabbitMQ源连接器配置即可恢复服务

场景2：需要保留现有连接器配置 #

• 先导出connect-configs中所有合法的JSON格式配置记录作为备份
• 删除connect-configs topic后手动重建，确保配置与原有一致：分区数为1，清理策略为compact，副本数与你集群副本配置匹配
• 将备份的合法配置记录重新写入新建的connect-configs topic
• 重启所有Kafka Connect节点即可

后续优化建议 #

• 该空指针问题是Kafka 2.6.0的已知bug，官方在2.6.2及更高版本中已修复，建议后续升级到稳定版本避免同类问题复现
• 提交连接器配置前先校验JSON格式合法性，避免非法消息写入内部配置topic

内容的提问来源于stack exchange，提问作者Shivakumar Sajjan