PostgreSQL限定varchar存储'é'两种Unicode表示及自动归一化方法

核心原理 #

PostgreSQL 中 varchar(n) 的长度限制按 Unicode 码点数量计数，而非视觉上的字符数或字节数。你遇到的问题源于 Unicode 对同一字符的两种等价表示：

• 预组合形式：é 是单个码点（U+00E9），此时 sintético 总码点数为9，刚好符合 varchar(9) 的限制。
• 分解形式：é 由两个码点组成（基础字符 e U+0065 + 组合重音 ◌́ U+0301），此时 sintético 总码点数为10，超出字段长度限制导致报错。

UTF-8 仅负责将 Unicode 码点转换为字节存储，不处理码点的归一化，所以单纯设置 UTF-8 编码无法解决等价字符的长度差异问题。

解决方法 #

1. 手动归一化字符串 #

使用 PostgreSQL 内置的 normalize() 函数，将字符串转换为统一的归一化形式，确保两种表示的码点数量一致：

• NFC：转成预组合形式（推荐，码点数量更少）
• NFD：转成分解形式
• NFKC/NFKD：兼容归一化（处理更多字符变体，比如全角转半角）

插入示例：

-- 自动将分解形式转成预组合形式，确保码点数量为9
insert into big_text (description) values (normalize('sintético', NFC));

2. 数据库自动归一化（触发器实现） #

通过触发器在插入/更新时自动归一化字段值，避免每次手动处理：

首先创建归一化函数：

CREATE OR REPLACE FUNCTION normalize_description()
RETURNS TRIGGER AS $$
BEGIN
    -- 统一转成NFC预组合形式
    NEW.description = normalize(NEW.description, NFC);
    RETURN NEW;
END;
$$ LANGUAGE plpgsql;

然后给表绑定触发器：

CREATE TRIGGER trigger_normalize_description
BEFORE INSERT OR UPDATE ON big_text
FOR EACH ROW EXECUTE FUNCTION normalize_description();

之后无论插入哪种形式的字符串，都会自动转换为统一的NFC形式，不会再出现长度超限问题。

3. 调整字段长度（可选） #

如果需要保留原始的码点序列（不做归一化），可以将字段长度调整为 varchar(10)，容纳分解形式的字符串：

ALTER TABLE big_text ALTER COLUMN description TYPE VARCHAR(10);

内容的提问来源于stack exchange，提问作者allan.egidio