PostgreSQL如何支持多语言 解决希伯来文存储为??????乱码问题

??????形式的乱码本质是字符在传输或存储过程中，遇到不支持对应字符的编码集，被自动替换为占位问号，和PostgreSQL本身的多语言支持能力无关。PostgreSQL原生支持UTF-8编码，可正常存储包括希伯来文、中文、阿拉伯文在内的所有Unicode收录语言文本，按以下步骤排查配置即可解决问题。

一、配置数据库服务端字符集 #

• 首先执行以下SQL，检查目标数据库的服务端编码：

SELECT datname, pg_encoding_to_char(encoding) AS server_encoding FROM pg_database;

• 正常支持多语言的数据库必须使用UTF8编码，禁止使用SQL_ASCII、LATIN1这类单字节/不支持全量Unicode的编码。
  PostgreSQL不支持直接修改已有数据库的服务端编码，如果现有库编码不符合要求，需先导出全量数据，再通过以下语句重建库后导入数据，禁止强行修改系统表变更编码，否则会造成数据损坏：

CREATE DATABASE your_database_name
  WITH ENCODING 'UTF8'
  LC_COLLATE = 'C.UTF-8'
  LC_CTYPE = 'C.UTF-8'
  TEMPLATE template0;

注意：创建库时必须指定template0作为模板，否则自定义编码和本地化规则会被模板库的默认配置覆盖。C.UTF-8是通用Unicode排序规则，可适配所有语言的排序、字符判断需求，不需要针对希伯来文单独指定本地化参数。

二、统一连接层客户端编码 #

90%以上的希伯来文存储乱码都来自连接层编码不匹配：

• 客户端和PostgreSQL建立连接后，必须显式将客户端编码设置为UTF8，不要使用驱动默认的自动检测逻辑，否则驱动常会自动匹配为LATIN1这类单字节编码，遇到希伯来文等非拉丁字符时会直接替换为问号。
• 不同场景的客户端编码设置方式：
  • 命令行psql客户端：连接前设置系统环境变量PGCLIENTENCODING=UTF8，或连接后执行SQLSET client_encoding = 'UTF8';
  • JDBC驱动：在连接串末尾追加参数?characterEncoding=utf8
  • Python psycopg2/pg8000等驱动：建立连接时传入client_encoding="utf8"参数，不要在代码中手动对字符串做额外编码转码
  • 可视化管理工具（DBeaver、Navicat、DataGrip等）：在连接配置页手动将客户端编码指定为UTF-8，关闭自动检测编码选项

三、校验写入链路全段编码一致性 #

• 检查待上传的希伯来文原始文件编码，确保文件本身为UTF-8格式，不要直接上传CP1255、ISO-8859-8等希伯来文专属单字节编码的文件，写入前先将文件转码为UTF-8。
• 排查应用代码逻辑，不要在写入数据库前对字符串做手动编码转换、单字节截断操作，避免字符在传入数据库前就已经被替换为问号。

四、验证配置有效性 #

配置完成后执行以下测试语句，确认希伯来文可正常存取：

-- 建测试表
CREATE TABLE test_multilang (
  id serial PRIMARY KEY,
  content text
);
-- 插入希伯来文测试样例（含义为"你好世界"）
INSERT INTO test_multilang(content) VALUES ('שלום עולם');
-- 查询校验
SELECT * FROM test_multilang;

如果查询结果可正常返回希伯来文原文，无问号或乱码，说明全链路编码已经对齐，后续可正常存储任意语言的文本数据，不需要额外安装插件或做特殊配置。

内容的提问来源于stack exchange，提问作者shani