COBOL生成XML时消除垃圾字符及DB2异常数据排查方案

问题背景 #

从DB2读取数据到XML结构的COPYBOOK变量后，执行XML GENERATE时触发XML-CODE=000000417错误，根源是DB2数据包含XML非法字符（示例中Ralphs的h和s间存在十六进制x'3F'字符）。已配置SUPPRESS参数但无效，且无法对多组变量逐个执行循环替换（性能开销大+未知垃圾字符列表）。

1. XML GENERATE阶段消除垃圾字符的通用方案 #

方案1：DB2取数时直接过滤非法字符

优先在数据库层批量处理，性能远优于COBOL端操作：

• 使用DB2正则函数（V11及以上支持）：利用REGEXP_REPLACE过滤XML规范外的字符，示例SQL：

  SELECT REGEXP_REPLACE(COLUMN_NAME, '[^\x09\x0A\x0D\x20-\x7E]', '') AS CLEANED_COLUMN
  FROM YOUR_TABLE
  

  正则表达式[^\x09\x0A\x0D\x20-\x7E]匹配所有XML 1.0不允许的字符（除制表符、换行、回车、可打印ASCII字符），直接替换为空。
• 低版本DB2替代方案：用TRANSLATE结合字符集批量替换，或自定义DB2函数实现范围过滤，避免COBOL端的逐变量处理。

方案2：COBOL端通用内存清理子程序

如果必须在COBOL处理，编写一次性扫描整个XML COPYBOOK内存区域的子程序，而非逐个变量循环：

CALL 'CLEAN_XML_INVALID_CHARS' USING XML-COPYBOOK-AREA, XML-AREA-LENGTH.

子程序逻辑：按字节扫描内存区域，将所有不在XML合法字符范围（#x9/#xA/#xD/#x20-#xD7FF/#xE000-#xFFFD/#x10000-#x10FFFF）的字符替换为空格或直接移除，仅需一次扫描，性能开销可控。

方案3：调整XML GENERATE参数（编译器支持时）

• 部分COBOL编译器（如IBM Enterprise COBOL for z/OS V6+）支持扩展参数，例如：

  XML GENERATE XML-OUTPUT FROM XML-COPYBOOK
      WITH ESCAPE INVALID CHARACTERS
      SUPPRESS WHITESPACE.
  

  ESCAPE INVALID CHARACTERS会自动转义或移除非法字符，替代单纯的SUPPRESS参数。
• 尝试指定ENCODING UTF-8，让编译器按UTF-8规则处理字符，部分非法字符会被自动转义。

2. 垃圾字符的范围列表 #

XML 1.0规范明确定义了合法字符范围，不在此范围内的均为“垃圾字符”：

#x9（制表符） | #xA（换行） | #xD（回车） | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]

无需枚举所有具体字符值，只需按上述范围判断过滤即可。常见的非法字符包括：ASCII控制字符（除上述三个）、单字节环境下的乱码字符、超出UTF-8编码范围的无效字节等。

内容的提问来源于stack exchange，提问作者Ralfh