如何在PostgreSQL单表中实现多语言全文检索索引？

我在PostgreSQL中有一张存储多语言文章的表，为实现全文检索，设置了启用GIN索引的独立列，根据文章语言（德语、英语、西班牙语等）使用对应词典存储内容。

表结构如下：

create table if not exists public.article
(
    id                        serial constraint "pk_article_id" primary key,
    title                     varchar(1024),
    body                      text,
    lang                      varchar(2),
    fts_dict                  regconfig generated always as (
                                  CASE
                                      WHEN ((lang)::text = 'en'::text) THEN 'english'::regconfig
                                      WHEN ((lang)::text = 'de'::text) THEN 'german'::regconfig
                                      WHEN ((lang)::text = 'es'::text) THEN 'spanish'::regconfig
                                      ELSE 'simple'::regconfig
                                      END) stored,
    fts_body                  tsvector generated always as (
                                  CASE
                                      WHEN ((lang)::text = 'en'::text) THEN to_tsvector('english'::regconfig, body)
                                      WHEN ((lang)::text = 'de'::text) THEN to_tsvector('german'::regconfig, body)
                                      WHEN ((lang)::text = 'es'::text) THEN to_tsvector('spanish'::regconfig, body)
                                      ELSE to_tsvector('simple'::regconfig, body)
                                      END) stored
);

GIN索引定义：

create index if not exists idx_article_fts_body
    on public.article using gin (fts_body);

该表的fts_body列会根据文章语言自动生成对应词典的tsvector。但查询时发现，使用特定词典只能检索对应语言的文章，例如：

SELECT a.id, a.lang, a.title, a.body
FROM article a
         INNER JOIN summaries s ON a.id = s.article_id
WHERE a.fts_body @@ plainto_tsquery('german', 'Grünheide')

仅能返回德语文章，无法检索到包含'Grünheide'的英语或西班牙语文章。若要覆盖所有语言，需分别使用对应词典多次查询，省略词典则默认使用simple或english词典。

我的问题是：是否必须遍历所有语言词典多次查询才能获取包含特定词汇的全部文章？有没有其他可行的技术方案？

可行技术方案 #

方案1：新增基于simple词典的通用检索列 #

simple词典仅做小写转换和分词，不进行词干化或停用词过滤，能匹配所有语言中拼写完全一致的词汇。

• 新增生成列：

ALTER TABLE public.article ADD COLUMN fts_body_simple tsvector GENERATED ALWAYS AS (to_tsvector('simple', body)) STORED;

• 创建GIN索引：

CREATE INDEX IF NOT EXISTS idx_article_fts_simple ON public.article USING gin(fts_body_simple);

• 查询语句：

SELECT a.id, a.lang, a.title, a.body
FROM article a
INNER JOIN summaries s ON a.id = s.article_id
WHERE a.fts_body_simple @@ plainto_tsquery('simple', 'Grünheide');

优缺点：实现简单，索引维护成本低；但无法处理词干变体（如英语"run"和"running"无法匹配）。

方案2：多语言查询条件联合（复用现有索引） #

无需修改表结构，将各语言的查询条件用OR组合，PostgreSQL会自动利用已有的GIN索引：

SELECT a.id, a.lang, a.title, a.body
FROM article a
INNER JOIN summaries s ON a.id = s.article_id
WHERE 
    (a.lang = 'de' AND a.fts_body @@ plainto_tsquery('german', 'Grünheide'))
    OR (a.lang = 'en' AND a.fts_body @@ plainto_tsquery('english', 'Grünheide'))
    OR (a.lang = 'es' AND a.fts_body @@ plainto_tsquery('spanish', 'Grünheide'))
    OR (a.lang NOT IN ('de','en','es') AND a.fts_body @@ plainto_tsquery('simple', 'Grünheide'));

优缺点：不用改动现有表和索引，能利用各语言词典的词干化能力；但支持的语言越多，查询语句越长，维护成本越高。

方案3：自定义混合多语言词典（regconfig） #

创建整合多语言规则的自定义文本搜索配置，统一生成tsvector和查询逻辑：

1. 创建自定义配置（以整合英、德、西语为例）：

CREATE TEXT SEARCH CONFIGURATION public.multi_lang (COPY = english);
ALTER TEXT SEARCH CONFIGURATION public.multi_lang ADD MAPPING FOR hword, hword_part, word WITH german_stem, spanish_stem, english_stem;

2. 修改表的生成列，统一使用自定义配置：

ALTER TABLE public.article DROP COLUMN fts_dict;
ALTER TABLE public.article DROP COLUMN fts_body;
ALTER TABLE public.article ADD COLUMN fts_body tsvector GENERATED ALWAYS AS (to_tsvector('public.multi_lang', body)) STORED;

3. 重建索引：

DROP INDEX IF EXISTS idx_article_fts_body;
CREATE INDEX IF NOT EXISTS idx_article_fts_body ON public.article USING gin(fts_body);

4. 查询语句：

SELECT a.id, a.lang, a.title, a.body
FROM article a
INNER JOIN summaries s ON a.id = s.article_id
WHERE a.fts_body @@ plainto_tsquery('public.multi_lang', 'Grünheide');

优缺点：查询语句简洁，支持多语言词干匹配；但需维护自定义配置，可能出现不同语言词干冲突的情况。

方案4：存储词汇数组实现精确匹配 #

新增存储文章词汇数组的列，通过数组包含关系实现跨语言精确匹配：

• 新增生成列（按空格分词，转换为小写）：

ALTER TABLE public.article ADD COLUMN body_words text[] GENERATED ALWAYS AS (string_to_array(lower(body), ' ')) STORED;

• 创建GIN索引：

CREATE INDEX IF NOT EXISTS idx_article_body_words ON public.article USING gin(body_words);

• 查询语句：

SELECT a.id, a.lang, a.title, a.body
FROM article a
INNER JOIN summaries s ON a.id = s.article_id
WHERE a.body_words @> ARRAY['grünheide'];

优缺点：能精确匹配所有语言中的原始词汇（忽略大小写）；但无法处理标点符号，索引体积较大。

内容的提问来源于stack exchange，提问作者itinance