如何使用DB2 SQL查询打印XML列中的无效字符

要找出XML列中包含的无效Unicode字符（如报错提到的0x2），可以通过将XML序列化为字符串后检查字符的方式实现，以下是具体的SQL方案：

方案1：遍历所有字符定位无效项（适合详细排查） #

使用递归CTE拆分XML字符串的每个字符，筛选出不符合XML规范的字符：

WITH chars AS (
    SELECT 
        id, -- 替换为你的表主键/唯一标识列
        XMLSERIALIZE(xml_col AS CLOB(1M)) AS xml_str, -- xml_col替换为你的XML列名，CLOB大小按需调整
        1 AS pos,
        SUBSTR(XMLSERIALIZE(xml_col AS CLOB(1M)), 1, 1) AS char_val,
        UNICODE(SUBSTR(XMLSERIALIZE(xml_col AS CLOB(1M)), 1, 1)) AS unicode_val
    FROM your_table -- 替换为你的表名
    UNION ALL
    SELECT 
        id,
        xml_str,
        pos + 1,
        SUBSTR(xml_str, pos + 1, 1),
        UNICODE(SUBSTR(xml_str, pos + 1, 1))
    FROM chars
    WHERE pos < LENGTH(xml_str)
)
SELECT 
    id,
    pos AS 字符位置,
    char_val AS 无效字符,
    '0x' || HEX(char_val) AS 十六进制编码,
    unicode_val AS Unicode编码
FROM chars
WHERE 
    -- 排除XML允许的合法字符：制表符(9)、换行(10)、回车(13)，以及0x20-0xD7FF、0xE000-0xFFFD、0x10000-0x10FFFF范围
    unicode_val NOT IN (9, 10, 13)
    AND (unicode_val < 32 OR unicode_val > 1114111
         OR (unicode_val > 55295 AND unicode_val < 57344))
ORDER BY id, pos;

代码说明 #

• XMLSERIALIZE: 将XML列转换为CLOB类型，完整保留原始字符（包括非ASCII和无效字符），CLOB的大小可根据XML实际长度调整（如CLOB(10M)）。
• 递归CTE chars: 遍历字符串的每个字符，记录字符的位置、内容、Unicode编码。
• UNICODE/HEX: 分别获取字符的十进制Unicode值和十六进制编码，方便定位如0x2这类控制字符。
• WHERE条件: 严格遵循XML规范过滤无效字符，仅保留不符合规范的项。

方案2：快速定位首个无效字符（适合批量筛查） #

使用正则表达式快速找到每条记录中第一个无效字符的位置和内容，性能更优：

SELECT 
    id, -- 替换为你的表主键/唯一标识列
    REGEXP_INSTR(XMLSERIALIZE(xml_col AS CLOB(1M)), '[^[:graph:][:space:]\x09\x0A\x0D]') AS 首个无效字符位置,
    SUBSTR(XMLSERIALIZE(xml_col AS CLOB(1M)), REGEXP_INSTR(XMLSERIALIZE(xml_col AS CLOB(1M)), '[^[:graph:][:space:]\x09\x0A\x0D]'), 1) AS 首个无效字符,
    UNICODE(SUBSTR(XMLSERIALIZE(xml_col AS CLOB(1M)), REGEXP_INSTR(XMLSERIALIZE(xml_col AS CLOB(1M)), '[^[:graph:][:space:]\x09\x0A\x0D]'), 1)) AS Unicode编码
FROM your_table -- 替换为你的表名
WHERE REGEXP_INSTR(XMLSERIALIZE(xml_col AS CLOB(1M)), '[^[:graph:][:space:]\x09\x0A\x0D]') > 0;

代码说明 #

• 正则表达式[^[:graph:][:space:]\x09\x0A\x0D]: 匹配所有不在可打印图形字符、普通空格、制表符、换行、回车之外的字符，覆盖大部分XML无效控制字符。
• 仅返回存在无效字符的记录，适合快速批量排查。

内容的提问来源于stack exchange，提问作者Ramsai Dhanumuri