如何在PostgreSQL全库中定位含零宽空格(\u200B)的行与列

报错中字节序列0xe2 0x80 0x8b对应UTF-8编码下的U+200B零宽空格，该字符不在WIN1252编码支持范围内，PowerBI默认以WIN1252编码拉取数据时会触发转码失败，直接导致报表刷新中断。

PostgreSQL无内置全库全字段检索能力，可通过系统表拼接动态SQL遍历所有用户表的字符类型字段，精准定位问题数据。执行前请使用高权限账号（如库所有者、postgres账号），大库建议在业务低峰期执行，避免占用元数据锁影响业务。
直接执行以下SQL即可输出所有命中零宽空格的记录位置：

-- 临时表存储命中结果，会话结束自动清理
DO $$
DECLARE
    field_rec record;
    exec_sql text;
BEGIN
    CREATE TEMP TABLE IF NOT EXISTS zwsp_hit_result (
        schema_name text,
        table_name text,
        column_name text,
        row_pos tid,
        content_preview text
    ) ON COMMIT DROP;

    -- 遍历所有用户表的字符类型字段
    FOR field_rec IN
        SELECT
            n.nspname AS sn,
            c.relname AS tn,
            a.attname AS cn
        FROM pg_attribute a
        JOIN pg_class c ON a.attrelid = c.oid
        JOIN pg_namespace n ON c.relnamespace = n.oid
        WHERE
            c.relkind = 'r'
            AND n.nspname NOT IN ('pg_catalog', 'information_schema', 'pg_toast')
            AND a.attnum > 0
            AND NOT a.attisdropped
            AND a.atttypid IN (SELECT oid FROM pg_type WHERE typname IN ('text','varchar','char','character varying','character'))
    LOOP
        exec_sql := format(
            'INSERT INTO zwsp_hit_result (schema_name, table_name, column_name, row_pos, content_preview)
             SELECT %L, %L, %L, ctid, left(%I, 100)
             FROM %I.%I
             WHERE %I LIKE %L',
            field_rec.sn, field_rec.tn, field_rec.cn, field_rec.cn,
            field_rec.sn, field_rec.tn, field_rec.cn,
            '%' || U&'\200B' || '%'
        );
        EXECUTE exec_sql;
    END LOOP;
END $$;

-- 查询所有命中的问题记录
SELECT * FROM zwsp_hit_result;

检索结果说明：

• schema_name/table_name/column_name：问题数据所在的模式、表、字段
• row_pos：对应行的物理位置标识（ctid），无主键也可直接定位，定位整行可执行SELECT * FROM 模式名.表名 WHERE ctid = 'row_pos的值';
• content_preview：问题字段前100个字符的预览，方便快速确认内容

定位到具体数据后，使用replace函数清除字段内的零宽空格即可，建议先开事务校验，确认无误后再提交，避免误改数据：

-- 开启事务
BEGIN;

-- 替换指定字段的零宽空格
UPDATE 你的模式名.你的表名
SET 你的字段名 = REPLACE(你的字段名, U&'\200B', '')
WHERE 你的字段名 LIKE '%' || U&'\200B' || '%';

-- 校验：执行后查询应返回0条记录
SELECT * FROM 你的模式名.你的表名 WHERE 你的字段名 LIKE '%' || U&'\200B' || '%';

-- 校验通过提交事务
COMMIT;

-- 若校验发现异常，执行回滚即可
-- ROLLBACK;

• 应用层：在数据写入数据库前，对所有字符串类型入参做清洗，过滤包括U+200B在内的零宽字符、不可见控制字符，从源头阻断非法字符输入
• 数据库层：若无法全量修改业务代码，可给核心字符字段添加CHECK约束，从库层面拦截非法字符写入：

ALTER TABLE 你的模式名.你的表名
ADD CONSTRAINT chk_block_zwsp CHECK (你的字段名 NOT LIKE '%' || U&'\200B' || '%');

内容的提问来源于stack exchange，提问作者user4979733