在大型Kafka Topic中搜索消息：求社区工具方案推荐

我计划撰写一篇关于按条件搜索Kafka消息的博客。发现尽管这是Kafka运维和开发团队的日常需求，但目前该领域缺乏趁手的工具与框架。

已调研的工具方案 #

UI类工具 #

• 多数Kafka UI工具在处理大型Topic的消息搜索时表现不佳，无法高效满足需求。

CLI工具 #

• kcat、kafka-*-consumer等命令行工具具备一定扩展性，但搜索功能相对匮乏，难以支持复杂的条件筛选。

自定义/扩展方案 #

• 借助带Filter SMT的Kafka连接器实现消息过滤；
• 使用KSQL进行基于SQL的查询；
• 用熟悉的编程语言进行原生开发；
• 将消息转储至存储桶后再执行搜索操作。

商业工具 #

• 了解到Conduktor支持基于SQL的消息搜索功能，但暂未验证其实际使用效果。

向社区提问 #

大家日常在Kafka中搜索消息时，使用的是什么工具？是我上面提到的这些方案，还是有更优的选择？

内容的提问来源于stack exchange，提问作者Arijit Mazumdar