Amazon Aurora Postgres搜索阿拉伯语字符串无返回结果问题求助

1. 校验字符串二进制内容是否完全匹配 #

字符串外观一致不代表实际存储的字节完全相同，可通过以下操作确认：

• 分别在两个环境执行查询，获取存储值的十六进制编码：

  SELECT name, encode(name::bytea, 'hex') AS name_hex FROM sa_table;
  

• 同时对查询条件字符串做同样的转码，对比两者的十六进制值：

  SELECT encode('7Learn سون لرن'::bytea, 'hex') AS query_hex;
  

  常见不一致原因包括不可见零宽字符、阿拉伯语近似字符混淆（ی/ي）、插入时多余转义字符、Unicode规范化形式（NFC/NFD）差异等。

2. 校验排序规则（Collation）的实际实现差异 #

虽然两边都显示lc_collate为en_US.UTF-8，但不同环境的底层实现可能存在差异：

• 对比两个环境的PostgreSQL版本、glibc版本、collation版本：

  SELECT version();
  SELECT collname, collversion FROM pg_collation WHERE collname = 'en_US.utf8';
  

  Aurora PostgreSQL与开源RDS PostgreSQL的collation底层实现可能存在定制化差异，会直接影响LIKE操作的匹配逻辑。
• 先测试等于匹配是否正常：

  SELECT * FROM sa_table WHERE name = '7Learn سون لرن';
  

  如果等于匹配可返回结果仅LIKE无返回，可确认是模式匹配的collation规则问题。
• 临时绕过collation规则测试，使用二进制匹配：

  -- 方式1：强制指定C collation
  SELECT * FROM sa_table WHERE name COLLATE "C" LIKE '7Learn سون لرن' COLLATE "C";
  -- 方式2：直接转二进制对比
  SELECT * FROM sa_table WHERE name::bytea = '7Learn سون لرن'::bytea;
  

  上述语句如果能返回结果，可通过在查询时强制指定collation、或将字段collation修改为C的方式彻底解决。

3. 校验数据库参数配置差异 #

对比两个环境的以下参数配置：

• 检查字符串转义规则是否一致：

  SHOW standard_conforming_strings;
  

  该参数不一致可能导致插入或查询时的字符串转义逻辑不同，出现隐形字符差异。
• 检查Aurora专属的字符串处理参数，如是否开启自定义collation、是否默认启用大小写/重音不敏感匹配等专属配置。

4. 校验客户端传输链路 #

确认生产环境连接客户端实际发送的查询字符串编码正确：

• 开启生产环境的SQL执行日志，校验服务端实际收到的查询语句中的条件字符串是否和预期一致，避免客户端本地编码配置异常、中间件转码导致查询字符串被篡改。
• 检查插入和查询链路的Unicode规范化逻辑是否一致，避免插入时自动转成NFC形式、查询时自动转成NFD形式导致匹配失败。

内容的提问来源于stack exchange，提问作者Sanchit