如何在AWS Aurora Serverless v2 PostgreSQL中实现希伯来文tsvector全文搜索？

由于Aurora Serverless作为托管服务，确实无法直接上传自定义的.affix/.dict词典文件到服务器文件系统，导致无法通过常规的自定义词典方式实现希伯来文全文搜索。以下是几种可行的替代方案：

方案一：基于内置扩展+自定义停用词表构建搜索配置 #

这种方案无需依赖外部文件，直接利用PostgreSQL内置扩展实现基础的希伯来文全文搜索：

1. 启用unaccent扩展（处理希伯来文特殊字符归一化）：

   CREATE EXTENSION IF NOT EXISTS unaccent;
   

2. 创建希伯来文停用词表：
   手动添加常用的希伯来文停用词（如האת、של、ב等）：

   CREATE TEXT SEARCH STOPLIST hebrew_stoplist;
   -- 添加停用词，按需补充更多
   ALTER TEXT SEARCH STOPLIST hebrew_stoplist ADD 'האת';
   ALTER TEXT SEARCH STOPLIST hebrew_stoplist ADD 'של';
   ALTER TEXT SEARCH STOPLIST hebrew_stoplist ADD 'ב';
   ALTER TEXT SEARCH STOPLIST hebrew_stoplist ADD 'ל';
   

3. 创建自定义文本搜索配置：
   基于simple配置修改，整合unaccent和自定义停用词表：

   CREATE TEXT SEARCH CONFIGURATION hebrew_config (COPY = pg_catalog.simple);
   ALTER TEXT SEARCH CONFIGURATION hebrew_config
       ALTER MAPPING FOR asciiword, asciihword, hword_asciipart,
                      word, hword, hword_part
       WITH unaccent, hebrew_stoplist;
   

4. 使用配置进行搜索：

   -- 示例：匹配包含"חיפוש"的文本
   SELECT *
   FROM your_table
   WHERE to_tsvector('hebrew_config', unaccent(your_hebrew_column)) 
         @@ to_tsquery('hebrew_config', unaccent('חיפוש'));
   

方案二：应用层预处理+数据库索引 #

如果需要更精准的希伯来文词形还原（如词根提取），可以在应用层完成文本预处理，再存入数据库：

1. 在应用层使用希伯来文NLP工具（如HebNLP、spaCy的希伯来文扩展）对文本进行分词、词根提取；
2. 将预处理后的分词结果拼接成字符串，存入数据库的单独字段（如processed_hebrew_text）；
3. 基于该字段创建全文索引：

   CREATE INDEX idx_processed_hebrew ON your_table USING gin(to_tsvector('simple', processed_hebrew_text));
   

4. 直接使用预处理字段进行搜索：

   SELECT * FROM your_table WHERE to_tsvector('simple', processed_hebrew_text) @@ to_tsquery('simple', 'שורש_לחיפוש');
   

方案三：基于pg_trgm的模糊相似度搜索 #

如果对全文搜索的精度要求不高，仅需要模糊匹配，可使用pg_trgm扩展实现相似度搜索：

1. 启用pg_trgm扩展：

   CREATE EXTENSION IF NOT EXISTS pg_trgm;
   

2. 创建trigram索引：

   CREATE INDEX idx_hebrew_trgm ON your_table USING gin(your_hebrew_column gin_trgm_ops);
   

3. 执行相似度搜索：

   SELECT *
   FROM your_table
   WHERE your_hebrew_column % 'מילה_לחיפוש'
   ORDER BY similarity(your_hebrew_column, 'מילה_לחיפוש') DESC;
   

关于自定义词典无法启用的说明 #

Aurora Serverless作为托管服务，限制了用户对服务器文件系统的访问权限，无法将.affix/.dict文件上传到PostgreSQL默认的词典目录share/tsearch_data，因此无法通过ispell/hunspell方式加载自定义词典，这是托管服务的固有限制。

内容的提问来源于stack exchange，提问作者Yosef G