Cassandra DB如何获取下一个ResultSet实现全表行统计避免查询超时

问题根因 #

• getAvailableWithoutFetching() 仅统计当前已加载到本地内存的分页数据行数，不会自动拉取后续分页数据，Cassandra Java驱动默认分页大小为5000，所以你只能拿到5000行的计数结果
• 直接将分页大小设置为10万，会要求服务端一次性读取全表数据并返回，很容易超出服务端或客户端的超时阈值，触发超时错误

同步计数实现方案 #

Cassandra Java driver 4.x版本的ResultSet本身支持同步迭代，当遍历完当前页的所有行时，驱动会自动同步阻塞拉取下一页数据，无需你手动维护分页状态，直接遍历所有行累加计数即可，代码示例如下：

// 建议用SELECT 1替代查询实际字段，减少不必要的数据传输开销
PreparedStatement preparedStatement = session.prepare("SELECT 1 FROM your_table_name");
Statement statement = preparedStatement.bind()
        // 可根据集群负载调整页大小，推荐范围5000~20000，平衡请求次数和单次请求压力
        .setPageSize(10000);
ResultSet resultSet = session.execute(statement);

int totalCount = 0;
// 同步迭代，拉取下页时会自动阻塞，完全符合你不要异步的要求
for (Row ignored : resultSet) {
    totalCount++;
}

优化建议 #

1. 生产环境如果表数据量持续增长到百万级以上，全表扫描计数的性能会明显下降，建议额外维护计数表、或者通过定时任务统计行数缓存结果，避免每次都扫描全表
2. 调整页大小的时候不要超过2万，否则还是有概率触发超时问题

内容的提问来源于stack exchange，提问作者Gvtha