如何在Cassandra表中查询activity_time对应的最新N条记录

Cassandra 作为分布式列存储数据库，排序操作仅支持单个分区内的聚簇键排序，原生不支持跨分区的全局排序，因此直接执行不带分区键过滤条件的ORDER BY语句会触发报错。

以下是不同场景下的可行实现方案： #

方案1：调整表结构（生产环境最优方案） #

通过重新设计主键结构，让数据写入时就按时间倒序存储，直接适配查询需求，步骤如下：

• 新建适配查询的表，分区键设为固定分桶值，聚簇键设置为activity_time DESC：

CREATE TABLE image_records_by_latest (
    -- 数据量小的话固定用1个桶，值统一为0即可；数据量大可以按年月做分桶，比如202110代表2021年10月
    bucket int,
    activity_time date,
    image_id int,
    image_location text,
    -- 分区键为bucket，聚簇键先按activity_time倒序，再拼接image_id避免相同时间的数据主键冲突
    PRIMARY KEY (bucket, activity_time DESC, image_id)
);

• 数据写入该表时，所有数据写入同一个bucket（比如bucket=0），或按时间规则写入对应时间桶即可
• 查询时直接执行以下语句就能拿到最新N条记录：

-- 单桶场景直接查询
SELECT * FROM image_records_by_latest WHERE bucket = 0 LIMIT 20;

-- 按时间分桶的场景，先查最近的桶，数据不够再依次查询更早的桶即可

注：单分区建议存储数据量不超过100G，如果数据量级很大，可按周、月维度做bucket分桶，避免单分区过大影响性能。该方案查询延迟可达毫秒级，是生产环境实时查询的最优选择。

方案2：临时查询用ALLOW FILTERING（仅测试/极小数据量场景可用） #

如果只是临时查询、表内数据量非常小，可以在原查询后加ALLOW FILTERING关键字强制全表扫描后排序：

select * from table_name order by activity_time desc limit 20 ALLOW FILTERING;

注意：该方案会触发全表扫描，需要拉取全表数据到协调者节点排序，数据量稍大就会出现严重性能问题，甚至导致集群节点雪崩，生产环境禁止使用。

方案3：离线批量计算场景 #

如果是离线取数场景，不需要实时返回结果，可以通过Spark等大数据计算组件全量读取表数据，在计算引擎侧完成排序取最新N条的逻辑，不需要改动现有表结构。

内容的提问来源于stack exchange，提问作者harsh solanki