Couchbase如何高效查询Bucket内所有文档ID的前缀列表

聚合报错修复 #

你遇到的4210报错是因为Couchbase N1QL不支持在GROUP BY子句中直接引用SELECT语句中定义的别名，必须把聚合用到的表达式直接放到GROUP BY中，或者通过子查询先提取字段再分组。

修复后的查询语句如下：

-- 方案1：直接在GROUP BY中复用表达式
SELECT SPLIT(meta().id, "---")[0] AS doc_type
FROM configs
GROUP BY SPLIT(meta().id, "---")[0];

-- 方案2：子查询先提取字段再分组
SELECT doc_type
FROM (
  SELECT SPLIT(meta().id, "---")[0] AS doc_type
  FROM configs
) AS doc_list
GROUP BY doc_type;

性能优化方案 #

你对性能的担心是合理的，未做优化的情况下上述查询会触发全表扫描，数据量大时耗时会非常高。可以通过以下方案大幅提升查询效率：

方案1：创建表达式覆盖索引（推荐） #

针对你的查询逻辑创建专用的表达式索引，查询时直接走索引无需访问实际文档数据，性能提升幅度可达数十到上百倍。
创建索引的语句：

CREATE INDEX idx_doc_type_prefix ON configs( (SPLIT(meta().id, "---")[0]) );

索引创建完成后，前面的修复后的查询语句可以直接复用，会自动走该索引。

方案2：架构层面优化（长期方案） #

如果你使用的是Couchbase 7.0及以上版本，可以考虑把不同类型的文档拆分到不同的Collection中存储，替代原来的ID前缀区分方案。后续只需要查询Bucket的Collection列表就可以直接拿到所有文档类型，不需要执行额外的聚合查询，性能最高。

当前思路可行性 #

当前通过ID前缀拆分、聚合提取类型的思路是可行的，在创建对应索引后可以满足生产环境的性能要求，不需要做额外的架构调整也可以正常使用。

内容的提问来源于stack exchange，提问作者Connor