Cassandra如何通过CQL分批查询全表数据以清理旧数据？

Cassandra 不支持传统关系型数据库的 offset 分页逻辑，大数据量下使用 offset 会触发全表扫描，性能极差甚至导致请求超时，推荐用以下两种方案实现分批遍历：

方案一：CQL 原生分页（通用推荐） #

这是 Cassandra 2.0 及以上版本原生支持的分页机制，由驱动层维护分页状态，适配所有表结构：

• 首次执行查询，语句如下（X 替换为你需要的每批条数，建议取值 1000~5000，清理场景只取必要字段即可）：

  SELECT id, created FROM "Openmind".mep_notification LIMIT X;
  

• 首次查询完成后，从结果集里获取分页状态 paging_state（不同语言驱动属性名略有差异，Java 驱动为 getPagingState()，Python 驱动为 paging_state）
• 下一批查询时，将上一批拿到的 paging_state 作为请求参数传入，复用同一条 SELECT 语句执行
• 重复上述流程，直到返回的 paging_state 为空，说明全表遍历完成

如果你用 cqlsh 直接测试，可以直接开启内置分页：

cqlsh> PAGING ON;
cqlsh> PAGING 1000; -- 每批返回1000条
cqlsh> SELECT id, created FROM "Openmind".mep_notification;

cqlsh 会自动处理分页逻辑，按回车即可加载下一批数据。

方案二：主键范围分页（纯CQL实现，无驱动依赖） #

你的表主键为单字段 id（uuid 类型支持大小比较），可以直接基于主键范围实现纯 CQL 分页，不需要依赖驱动的分页状态：

• 首批查询语句：

  SELECT id, created FROM "Openmind".mep_notification LIMIT X;
  

• 记录本次查询返回的最后一条数据的 id 值，记为 last_id
• 下一批查询语句：

  SELECT id, created FROM "Openmind".mep_notification WHERE id > last_id LIMIT X;
  

• 重复上述流程，直到返回的结果条数小于 X 或者为空，说明全表遍历完成

这种方式性能优异，完全走主键索引查询，没有额外 overhead。如果遍历过程中有新数据写入，新数据的 uuid 大于已遍历的 last_id，后续批次会自动覆盖，不会漏查。

旧数据清理示例 #

如果你的清理规则是删除 created 早于 2023年1月1日的旧数据，每批处理1000条的流程如下：

1. 首批查询待清理数据：

   SELECT id FROM "Openmind".mep_notification WHERE created < '2023-01-01 00:00:00+0000' LIMIT 1000;
   

2. 拿到这批id后执行批量删除，同时记录最后一条id的值为last_id
3. 下一批查询：

   SELECT id FROM "Openmind".mep_notification WHERE id > last_id AND created < '2023-01-01 00:00:00+0000' LIMIT 1000;
   

4. 重复步骤2、3，直到查询返回空结果，清理完成

注意事项 #

• 每批大小不要设置过大，建议控制在1000~5000之间，避免单请求数据量过大导致节点超时或负载过高
• 清理操作建议在业务低峰期执行，避免影响线上正常业务
• 不要使用表上的二级索引做全表遍历的过滤条件，性能极差，全表遍历优先走主键索引

内容的提问来源于stack exchange，提问作者Starbucks Admin