使用ClickHouse MongoDB Engine时无法统计行数及分页的问题求助

环境信息 #

• ClickHouse版本：24.6.3.95，曾升级至最新版本24.8.3.59测试
• MongoDB版本：6.0.11、4.4.29-28

核心问题 #

通过MongoDB Engine在ClickHouse中创建对应MongoDB集合（约200,000条文档）的表后，查询时出现以下异常：

• 仅能成功查询前101条数据，查询前102条时直接超时；报错后再次查询前101条也会超时
• 执行SELECT COUNT(*) FROM remote_table_mongo;时超时
• 受上述问题影响，无法实现分页功能

测试验证结果 #

针对不同数据量的MongoDB集合对应的ClickHouse表做了测试：

• 700条数据的小表：所有查询操作均正常
• TABLE_NAME_1（10,693条文档）：
  • SELECT * FROM TABLE_NAME_1 LIMIT 0,101; 返回rows_before_limit_at_least: 101
  • SELECT * FROM TABLE_NAME_1 LIMIT 0,102; 返回rows_before_limit_at_least: 10,693
  • SELECT COUNT(*) FROM TABLE_NAME_1; 返回10,693
• TABLE_NAME_2（391,091条文档）：
  • SELECT * FROM TABLE_NAME_2 LIMIT 0,101; 返回rows_before_limit_at_least: 101
  • SELECT * FROM TABLE_NAME_2 LIMIT 0,102; 超时
  • SELECT COUNT(*) FROM TABLE_NAME_2; 超时

推测与求助 #

推测问题与ClickHouse处理rows_before_limit_at_least值的逻辑有关，恳请提供可行的解决方案。

内容的提问来源于stack exchange，提问作者QuangDung