GCP Cloud SQL托管PostgreSQL自定义停用词文件解决方案咨询

由于Cloud SQL托管环境无法访问PostgreSQL的$SHAREDIR/tsearch_data/目录，你可以通过以下几种数据库层面的方法实现自定义停用词功能：

方法1：创建带自定义停用词的文本搜索字典 #

直接在数据库内定义停用词列表，创建基于simple模板的自定义字典，无需依赖服务器文件：

1. 定义包含自定义停用词的函数（或直接使用字符串）：

CREATE OR REPLACE FUNCTION get_custom_stopwords() RETURNS text AS $$
-- 替换为你的停用词，用逗号分隔
SELECT 'the,a,an,foo,bar,baz';
$$ LANGUAGE sql IMMUTABLE;

2. 创建自定义文本搜索字典：

CREATE TEXT SEARCH DICTIONARY custom_stop_dict (
    TEMPLATE = pg_catalog.simple,
    STOPWORDS = get_custom_stopwords()
);

3. 创建并配置自定义文本搜索配置：

-- 复制现有英文配置作为基础（可根据需求替换为其他语言）
CREATE TEXT SEARCH CONFIGURATION custom_en (COPY = pg_catalog.english);

-- 将配置中的默认字典替换为自定义停用词字典
ALTER TEXT SEARCH CONFIGURATION custom_en
    ALTER MAPPING FOR asciiword, asciihword, hword_asciipart, word, hword, hword_part
    WITH custom_stop_dict, english_stem;

4. 使用自定义配置生成tsvector：

SELECT to_tsvector('custom_en', 'The quick brown foo jumps over the lazy bar');

方法2：手动过滤停用词（临时场景） #

如果只是单次或临时需要过滤特定停用词，可使用ts_remove函数直接从生成的tsvector中移除目标词汇：

-- 先生成标准tsvector，再移除指定停用词
SELECT ts_remove(
    to_tsvector('english', 'The quick brown foo jumps over the lazy bar'),
    ARRAY['foo', 'bar', 'the']::tsvector
);

方法3：使用数组匹配过滤 #

在查询时通过数组匹配排除停用词，适合需要动态调整停用词的场景：

-- 拆分文本为词汇后过滤，再生成tsvector
SELECT to_tsvector('english', array_to_string(
    array_remove(string_to_array(lower('The quick brown foo jumps over the lazy bar'), ' '), unnest(ARRAY['foo', 'bar', 'the'])),
    ' '
));

这些方法均在数据库内部完成操作，完全适配Cloud SQL的托管限制，无需访问服务器文件系统。

内容的提问来源于stack exchange，提问作者Swissmant