ClickHouse中如何利用倒排索引搜索Array(String)类型列？

在ClickHouse中，MergeTree表的Array(String)列倒排索引无法被has()触发，且hasToken()不能直接作用于数组列——这是因为has()仅检查数组是否包含完整元素，而倒排索引（如tokenbf_v1）是基于元素内的token拆分设计的。以下是几种能有效利用倒排索引搜索数组列的方案：

1. 用arrayExists() + hasToken()组合触发索引 #

hasToken()会触发token类型的倒排索引，结合arrayExists()遍历数组元素，即可实现对数组内元素的token级搜索，同时命中索引：

SELECT * FROM db.logs
WHERE arrayExists(x -> hasToken(x, 'your_target_token'), labels_key)
   OR arrayExists(x -> hasToken(x, 'your_target_token'), labels_value)

2. 构建物化视图展平数组（高频搜索场景推荐） #

如果需要频繁进行token搜索，可创建物化视图将Array(String)列展平为单行单列的结构，在展平后的列上建立倒排索引，直接用hasToken()查询：

-- 创建展平数组的物化视图
CREATE MATERIALIZED VIEW db.logs_flat
ENGINE = MergeTree()
ORDER BY tuple()
AS SELECT 
    arrayJoin(labels_key) AS label_key,
    arrayJoin(labels_value) AS label_value,
    * EXCEPT(labels_key, labels_value)
FROM db.logs;

-- 为展平后的列添加倒排索引
ALTER TABLE db.logs_flat ADD INDEX idx_label_key label_key TYPE tokenbf_v1(32768, 3, 0) GRANULARITY 1;
ALTER TABLE db.logs_flat ADD INDEX idx_label_value label_value TYPE tokenbf_v1(32768, 3, 0) GRANULARITY 1;

-- 查询时直接使用hasToken()
SELECT DISTINCT * FROM db.logs_flat
WHERE hasToken(label_key, 'your_target_token') OR hasToken(label_value, 'your_target_token');

3. 确认倒排索引的创建正确性 #

确保你创建的倒排索引类型与搜索需求匹配，针对Array(String)列的token级搜索，推荐使用tokenbf_v1类型索引，创建语句示例：

ALTER TABLE db.logs ADD INDEX idx_labels_key labels_key TYPE tokenbf_v1(32768, 3, 0) GRANULARITY 1;
ALTER TABLE db.logs ADD INDEX idx_labels_value labels_value TYPE tokenbf_v1(32768, 3, 0) GRANULARITY 1;

tokenbf_v1会自动拆分数组中每个元素的token，只要使用匹配的查询函数，就能触发索引。

验证索引触发状态 #

使用EXPLAIN INDEXES语句可确认索引是否被正确触发：

EXPLAIN INDEXES
SELECT * FROM db.logs
WHERE arrayExists(x -> hasToken(x, 'your_target_token'), labels_key);

若输出中显示对应索引被选中，则说明索引已生效。

内容的提问来源于stack exchange，提问作者Majid Chaudhary