如何将Cassandra/Scylla经典表从3列扩展至30万列？

原关系型宽表结构在扩展到30万列时会遇到Schema不可维护、读写性能崩溃的问题，Cassandra/Scylla的设计更适合将列维度转为行维度的宽行模型，具体方案如下：

1. 重构表结构 #

创建以my_id为分区键，feature_name为聚类键的表，将每个特征（原列名）作为独立行存储：

CREATE TABLE dict_features (
    my_id bigint,
    feature_name text,
    feature_value int,
    PRIMARY KEY (my_id, feature_name)
);

• 分区键my_id确保同一键的所有特征数据存储在同一个分区内，查询时可以一次性拉取所有数据
• 聚类键feature_name保证同一分区内的特征按名称有序排列，便于高效扫描

2. 批量写入适配 #

原CSV是宽表格式（一行对应一个my_id+多列特征），需要转为长表格式（一行对应一个my_id+单个特征），或者通过dsbulk的映射逻辑处理：

• 预处理CSV：将原格式my_id,claims_count1,claims_count2,...转换为my_id,claims_count1,8\nmy_id,claims_count2,8\n...的长表结构
• dsbulk导入命令示例：

$ dsbulk load -url '/bitnami/long_format.csv' -k dicts -t dict_features -m '0=my_id,1=feature_name,2=feature_value' -header true

这种结构下，批量写入的性能依然能保持线性扩展，因为同分区的批量操作是Cassandra/Scylla的优化场景。

3. 生产查询优化 #

查询指定my_id的所有特征时，执行单分区查询：

SELECT feature_name, feature_value FROM dict_features WHERE my_id = 22123160926;

• 单分区查询延迟极低，完全能满足1秒超时要求
• 如果不需要全部特征，还可以通过feature_name过滤，只返回需要的特征，进一步提升性能

方案优势 #

• 无限扩展性：新增特征无需修改Schema，直接写入新行即可，完全支持30万甚至更多特征
• 读写性能：同分区的批量写入和查询都是Cassandra/Scylla的高效场景，避免了宽表的大Row问题
• 维护性：无需管理数十万列的Schema，特征的增删改操作都通过数据层面完成，无需DDL操作

注意事项 #

• 控制分区大小：每个my_id对应30万特征，单分区大小约为10-30MB（按每行20字节计算），符合Cassandra/Scylla的分区大小推荐（≤100MB）
• 特征名优化：尽量使用简洁的特征名，减少存储空间和传输带宽消耗
• 缓存优化：开启分区缓存或行缓存，将高频访问的my_id特征缓存到内存，进一步降低查询延迟

内容的提问来源于stack exchange，提问作者mirekphd