能否在Redpanda Console/Kowl中从Topic起始处搜索指定记录？

• Redpanda Console（原Kowl）从未原生支持过针对Topic/Partition全量消息的全局搜索。你看到的Issue#408里提到的“后端执行过滤”，本质是从指定起始位置（oldest/指定时间戳）开始拉取消息，拉取过程中应用过滤条件，但这个逻辑受限于默认的消息拉取上限（默认500条），并不会遍历Topic里的所有消息。

• 在2.7x版本里设置「Beginning」后仍只能过滤500条，是因为该版本的后端过滤依然受max.messages.per.page配置限制，不会自动遍历全量消息。这里的“后端过滤”只是相对于前端本地过滤而言，并非真正的全量全局搜索。

• 如果需要实现全量消息的搜索需求，目前可以通过两种方式替代：

  • 修改Redpanda Console的配置文件，调大max.messages.per.page参数到能覆盖目标消息量的数值，但消息量极大时会引发性能问题或请求超时。
  • 使用Redpanda的rpk命令行工具配合脚本，遍历Topic的所有分区拉取全量消息，再用工具（比如jq）按键、头信息或值进行筛选。

内容的提问来源于stack exchange，提问作者Ivan Petrov