如何解决PostgreSQL全文检索中tsvector与tsquery的使用限制问题

你遇到的重复16383位置值问题，本质是PostgreSQL原生tsvector的位置字段采用2字节存储，最大有效值为16383，所有超出该阈值的词位置都会被强制截断为16383，可根据业务需求选择以下解决方案：

• 方案1：位置缩放
  生成tsvector前对词位置做等比缩放，例如设置缩放因子为4，每4个连续词的位置计数+1，可将有效位置上限扩大到16383*4=65532，完全覆盖80页PDF的词量。该方案无需修改存储结构，普通关键词搜索效果不受影响，仅短语搜索的精度会有小幅下降，可通过自定义分词函数实现缩放逻辑，生成时将原始位置除以缩放因子取整后再写入tsvector。

• 方案2：文本分块存储
  将长PDF文本按页或固定词数（如每15000个词）拆分为多个独立块，每个块单独生成tsvector，存储为tsvector[]数组字段或分条存储。查询时对所有块的tsvector统一检索，需要短语搜索时可额外增加块内位置匹配逻辑。该方案完全保留位置精度，兼容原生tsvector所有搜索功能，无文本长度限制，仅需小幅调整存储和查询逻辑。

• 方案3：移除位置信息
  如果业务仅需要关键词存在性匹配，不需要邻近搜索、短语搜索能力，可以直接使用strip()函数清除tsvector的位置、权重信息，从根源避免位置溢出问题，同时可减少70%以上的tsvector存储空间。
  示例命令：
  SELECT strip(to_tsvector('english', 提取的PDF文本)) AS tsv;

• 方案4（不推荐）：修改编译参数
  可通过修改PostgreSQL源码中MAX_TS_POS常量的取值，重新编译数据库来扩大位置上限，但该方案会导致数据库与官方版本不兼容，后续升级、迁移成本极高，不建议生产环境使用。

内容的提问来源于stack exchange，提问作者SHIV