PostgreSQL通过slug无法查询记录但值正确的问题排查

兄弟，这问题我之前帮人排查过类似的，大概率是字符排序规则（collation）或者藏在字符串里的不可见字符搞的鬼，结合你Docker环境和本地环境的差异，给你拆解下可能的原因和对应的排查解决步骤：

1. 字符排序规则（Collation）不匹配 #

这是Docker部署的PostgreSQL和本地环境最常见的差异点。本地数据库可能用了en_US.UTF-8这类带自然排序的collation，而Docker容器里默认可能用的是C（纯字节排序），虽然字符串肉眼看起来完全一样，但不同collation下的=判断逻辑会有差异——比如某些特殊字符的排序权重不同，导致数据库认为两个字符串不相等。

排查步骤： #

• 先查publications表slug字段的collation：

SELECT column_name, collation_name 
FROM information_schema.columns 
WHERE table_name = 'publications' AND column_name = 'slug';

• 再对比本地和Docker数据库的全局默认collation：

SHOW server_collation;

解决方法： #

如果确认Docker里的collation和本地不一致，把slug字段的collation改成和本地一致的，比如：

ALTER TABLE publications 
ALTER COLUMN slug TYPE VARCHAR(255) COLLATE "en_US.UTF-8";

（注意把VARCHAR(255)改成你实际的字段长度）

2. 不可见控制字符或空格差异 #

你说Ruby里p.slug == p2.slug返回true，但数据库里用=查不到，很大可能是字符串里藏了不可见控制字符（比如零宽空格U+200B、换行符、制表符）或者首尾空格——Ruby的字符串相等是严格按字节比对，但你肉眼看不到这些字符，而数据库的=判断会严格区分，反而LIKE '%xxx%'会包含这些字符所以能查到。

排查步骤： #

• 把slug转成十六进制编码，看字节层面是否一致：

SELECT slug, octet_length(slug), encode(slug::bytea, 'hex') 
FROM publications WHERE title = 'XXXX';

对比本地和Docker环境下的octet_length（字节长度）和十六进制编码，如果不一样，说明确实有隐藏字符。

解决方法： #

清理slug字段里的不可见控制字符和多余空格：

-- 去掉所有控制字符（保留可见字符）
UPDATE publications 
SET slug = regexp_replace(slug, '[\x00-\x1F\x7F-\x9F]', '', 'g');

-- 同时去掉首尾空格
UPDATE publications 
SET slug = TRIM(slug);

3. 索引损坏或查询缓存问题 #

虽然你重启了数据库，但如果slug字段有创建索引，有可能索引损坏了——find_by默认会走索引查询，而LIKE语句大概率是全表扫描，所以会出现索引查不到、全表能查到的情况。

排查步骤： #

• 先找到slug字段对应的索引名：

SELECT indexname 
FROM pg_indexes 
WHERE tablename = 'publications' AND indexdef LIKE '%slug%';

• 重建该索引：

REINDEX INDEX index_publications_on_slug;

（把index_publications_on_slug换成你查到的实际索引名）

• 也可以临时关闭索引扫描，强制全表扫描试试：

SET enable_indexscan = off;

然后再执行Publication.find_by(slug: p.slug)，如果能查到，说明确实是索引的问题。

4. Docker容器的字符编码环境变量问题 #

Docker容器启动时如果没有指定LC_COLLATE和LC_CTYPE环境变量，默认会用C编码，导致数据库初始化时用了不符合预期的collation。

排查步骤： #

• 查看Docker容器的环境变量：

docker exec <你的PostgreSQL容器ID> env | grep LC_

如果输出里LC_COLLATE和LC_CTYPE是C或者和本地不一致，就是这个问题。

解决方法： #

下次启动PostgreSQL容器时，加上对应的环境变量：

docker run -d \
  -e LC_COLLATE=en_US.UTF-8 \
  -e LC_CTYPE=en_US.UTF-8 \
  # 其他你的容器参数
  postgres:10

如果已经有数据了，就不用重新建库，直接按上面的方法修改字段collation即可。

内容的提问来源于stack exchange，提问作者srghma