Snowflake解析邮件字段时未知特殊字符的移除求助

• 解析邮件字段过程中，仅2条记录的目标内容前存在无法去除的特殊字符，已尝试TRIM函数，以及替换CHAR(9)、CHAR(10)、CHAR(13)、CHAR(14)、CHAR(11)等字符，问题仍未解决。
• 判定为特殊字符的依据：使用LIKE '% DYING GASP%'无法匹配目标记录，但'%DYING GASP%'可以匹配；尝试过Snowflake社区的特殊字符检测方法，但异常行未被识别。
• 当前使用的处理代码：

REPLACE( REPLACE( REPLACE( REPLACE( REPLACE(REGEXP_SUBSTR(UPPER(c.description), 'ROOTCAUSE :\s*([^:\n]+)', 1, 1, 'e', 1) , CHAR(13), '') , CHAR(10), '') , char(9), '') , char(14), '') , char(11), '')

• 原始邮件片段：

.....
Rootcause : DYING GASP
Action : No Action
.....

• 补充说明：该查询是一段较长CASE WHEN语句的片段，CASE WHEN开头已使用TRIM函数，问题单元格存在特殊占位符。

解决方案建议 #

1. 定位未知特殊字符的编码
   用以下SQL拆分目标字段的每个字符，获取其ASCII/Unicode编码，精准定位特殊字符：

   SELECT 
       c.description,
       REGEXP_SUBSTR(UPPER(c.description), 'ROOTCAUSE :\s*([^:\n]+)', 1, 1, 'e', 1) AS extracted_value,
       TABLE(FLATTEN(SPLIT_TO_TABLE(extracted_value, ''))) AS chars,
       ASCII(chars.value) AS char_ascii,
       UNICODE(chars.value) AS char_unicode
   FROM your_table c
   WHERE extracted_value LIKE '%DYING GASP%' AND extracted_value NOT LIKE '% DYING GASP%';
   

   拿到异常字符编码后，直接在REPLACE中替换对应字符即可。

2. 用正则直接过滤特殊字符
   两种实现思路：

   • 提取内容后，移除所有非字母数字和常规空格的字符：

     REGEXP_REPLACE(
         REGEXP_SUBSTR(UPPER(c.description), 'ROOTCAUSE :\s*([^:\n]+)', 1, 1, 'e', 1),
         '[^a-zA-Z0-9 ]', ''
     )
     

   • 在正则匹配阶段直接跳过开头特殊字符，只提取有效内容：

     REGEXP_SUBSTR(UPPER(c.description), 'ROOTCAUSE :\s*[^a-zA-Z0-9]*([a-zA-Z0-9 ]+)', 1, 1, 'e', 1)
     

3. 扩展TRIM的字符移除范围
   Snowflake的TRIM支持自定义移除的字符集，将可能的特殊字符全部加入：

   TRIM(
       REGEXP_SUBSTR(UPPER(c.description), 'ROOTCAUSE :\s*([^:\n]+)', 1, 1, 'e', 1),
       CHAR(9)||CHAR(10)||CHAR(11)||CHAR(13)||CHAR(14)||' '
   )
   

内容的提问来源于stack exchange，提问作者P5_