Postgres创建GIN索引遇tsvector过长错误，如何定位问题文档？

方法1：用PL/pgSQL函数捕获异常 #

创建一个遍历函数，逐个尝试生成tsvector，捕获超出限制的异常并返回对应文档ID，避免批量操作中途终止：

CREATE OR REPLACE FUNCTION find_overlength_tsvector_docs()
RETURNS SETOF INTEGER AS $$
DECLARE
    rec RECORD;
BEGIN
    FOR rec IN SELECT id, doc_text FROM txt_document LOOP
        BEGIN
            PERFORM to_tsvector('simple', rec.doc_text);
        EXCEPTION
            WHEN OTHERS THEN
                IF SQLERRM LIKE '%string is too long for tsvector%' THEN
                    RETURN NEXT rec.id;
                END IF;
        END;
    END LOOP;
    RETURN;
END;
$$ LANGUAGE plpgsql;

-- 调用函数获取错误文档ID
SELECT * FROM find_overlength_tsvector_docs();

方法2：分段查询缩小范围 #

如果文档量极大，函数遍历效率低，可按ID分段排查，逐步锁定问题区间：

-- 先按大区间检测，比如每次10万条
SELECT id, doc_text 
FROM txt_document 
WHERE id BETWEEN 1 AND 100000
LIMIT 1; -- 快速验证该区间是否存在问题

-- 若报错，继续缩小范围（比如BETWEEN 1 AND 50000），直到定位到具体ID

补充说明 #

• 文档原大小和tsvector大小并非正相关：部分文档原内容不大，但包含大量重复词汇，tsvector存储词位信息后体积会膨胀，超出PostgreSQL默认的1MB（1048575字节）限制。
• 单独查询最大文档无异常，说明问题出在其他文档上，需通过上述方法排查。

内容的提问来源于stack exchange，提问作者chhenning