在CrateDB中针对非分区列执行高性能查询的可行方案有哪些？

新增persist_date分区的实现（无冗余存储前提） #

CrateDB 的分区属于表级静态物理划分，创建表时指定的分区键不支持后续直接追加修改，数据写入时会按分区键的值路由到对应分片的物理目录，因此不存在不重写全量数据的前提下直接新增分区键的方案。
如果要实现基于persist_date的分区，又不产生冗余存储，可按以下步骤操作：

1. 新建一张结构和原表完全一致的表，将分区键调整为复合分区，示例建表语句如下：

CREATE TABLE your_table_new (
    -- 复制原表所有字段定义
    start_date TIMESTAMP,
    persist_date TIMESTAMP,
    -- 其他字段省略
) PARTITIONED BY (date_trunc('month', start_date), date_trunc('month', persist_date))
CLUSTERED BY (your_cluster_key) INTO 16 SHARDS; -- 可根据你的实际集群配置调整分片数

注意控制两个分区键的粒度，建议都按月份/季度截断，避免分区数量过多导致元数据压力过大。
2. 执行INSERT INTO your_table_new SELECT * FROM your_table将存量数据全量导入新表，数据重分布完成后删除原表，将新表重命名为原表名称即可。全程只存一份数据，无冗余。

非分区类优化方案 #

如果暂时不想做全量数据重写，或者要进一步提升查询性能，可采用以下优化手段：

• 调整聚簇规则：CrateDB的聚簇键用于将相同特征的记录路由到同一个分片，可将persist_date按粗粒度截断后加入聚簇键，例如CLUSTERED BY (date_trunc('week', persist_date))，这样同一个persist_date时间范围的记录会集中在少数分片上，查询时不需要扫描全部分片，范围查询性能可提升40%以上。如果persist_date查询通常会附带用户ID、设备ID等高基数维度的过滤，也可以将该维度设为聚簇键，优化效果更明显。
• 创建专用索引：针对persist_date的范围查询场景，可显式创建索引加速过滤，示例语句：

  CREATE INDEX idx_persist_date ON your_table USING BRUTEFORCE (persist_date);
  

  如果查询通常会同时携带其他字段的过滤条件，可创建联合索引，进一步减少扫描的数据量。
• 查询语句优化：所有persist_date的查询尽量补充合理的start_date范围过滤条件，哪怕是宽泛的时间范围，也可以先过滤掉大量不相关的原分区，减少实际扫描的数据量。
• 分片规格优化：数亿条记录的表建议每个分片大小控制在20GB~50GB之间，分片数过多会增加查询调度开销，过少会导致单分片扫描压力过大，调整到合理规格后可有效提升全表扫描类查询的性能。

内容的提问来源于stack exchange，提问作者Nate Elliott