从RDS Aurora PostgreSQL迁移到Hetzner后to_tsvector行为差异排查

核心原因：默认文本搜索配置差异及分词器特性不同 #

1. 分词器的核心行为差异 #

• simple分词器：仅做小写转换，不处理词干、不过滤停用词。因此to_tsvector('I am a heroe')会生成包含所有原始词的向量：'a':3 'am':2 'heroe':4 'i':1；to_tsquery('simple', 'I & am & a & hero')会生成包含所有查询词的条件：'i' & 'am' & 'a' & 'hero'。由于heroe和hero是不同的词，且所有条件需同时满足，匹配失败返回FALSE，这和RDS的结果一致。
• english分词器：会自动进行词干归一化（将heroe转换为标准词干hero），同时过滤停用词（I、am、a这类无意义虚词会被移除）。因此to_tsvector('english', 'I am a heroe')最终生成的向量仅保留'hero':4；to_tsquery('english', 'I & am & a & hero')会自动忽略停用词，仅保留'hero'作为查询条件，匹配成功返回TRUE。

2. 数据库默认文本搜索配置的差异 #

• RDS Aurora PostgreSQL 13.6的默认文本搜索配置为pg_catalog.simple，执行未指定分词器的查询时，to_tsvector和to_tsquery都默认使用simple分词器，最终返回FALSE。
• Hetzner托管PostgreSQL 13.8的默认文本搜索配置为pg_catalog.english，未指定分词器的查询会自动使用english分词器，从而返回TRUE。

3. 验证方式 #

可以通过以下命令确认默认配置和分词结果：

• 查看默认文本搜索配置：

  SHOW default_text_search_config;
  

• 查看to_tsvector的具体结果：

  -- RDS或Hetzner指定simple分词
  SELECT to_tsvector('simple', 'I am a heroe');
  -- Hetzner指定english分词
  SELECT to_tsvector('english', 'I am a heroe');
  

• 查看to_tsquery的具体结果：

  -- 指定simple分词的查询条件
  SELECT to_tsquery('simple', 'I & am & a & hero');
  -- 指定english分词的查询条件
  SELECT to_tsquery('english', 'I & am & a & hero');
  

内容的提问来源于stack exchange，提问作者Quentin Del