如何移除GitLab Trace API返回作业日志中的ANSI/Unicode特殊字符

能否直接获取无特殊字符的原始日志 #

• GitLab 官方提供的 jobs trace 接口没有内置返回纯文本无格式日志的参数，接口返回的内容本身就是GitLab Runner输出的带终端控制序列的原始日志，这些\u001b开头的字符是终端渲染用的ANSI转义序列，用来实现终端里的颜色高亮、行清除、格式加粗等效果，接口侧不会自动剥离这类字符。

原有正则失效原因 #

当前使用的正则存在语法错误、匹配覆盖不全的问题：

• 匹配字符范围[0 -?]中间多了无效空格，导致[0K这类行清除序列无法被命中
• 缺少量词匹配多参数场景，无法覆盖[36;1m这类带分号分隔参数的颜色控制序列
• 没有覆盖所有ANSI控制序列的规则分支，部分OSC、私有扩展序列会被遗漏

C# 可用的彻底清除实现 #

使用覆盖全量ANSI转义序列的正则即可完全清除这类字符，代码实现如下：

// 发起请求获取trace内容
var response = await httpClient.GetAsync("https://gitlab.some.com/api/v4/projects/110506/jobs/80341714/trace", _commonService.GetGitlabHeaders(errorLog.AuthToken));
var rawLog = await response.Content.ReadAsStringAsync();

// 正则匹配所有ANSI转义序列并清除
// 规则覆盖：CSI序列、SGR颜色/格式序列、行清除/光标控制序列、OSC序列等所有终端控制符
var ansiEscapeRegex = new Regex(@"\x1B(?:[@-Z\\-_]|\[[0-?]*[ -/]*[@-~])", RegexOptions.Compiled);
var cleanLog = ansiEscapeRegex.Replace(rawLog, "");
// 可选：清除剩余的响铃、退格等不可见控制字符，保留换行、回车、制表符
cleanLog = new Regex(@"[\x00-\x08\x0B\x0C\x0E-\x1F]", RegexOptions.Compiled).Replace(cleanLog, "");

处理效果验证 #

提供的示例响应经过上述逻辑处理后，会得到完全无特殊字符的纯文本日志：

Running with gitlab-runner 14.10.1 (f761588f)
Running with gitlab-runner 14.10.1 (f761588f)
  on buildops-shared-linux-pks-s3b-main-10026789-gitlab-runner-vl58t 
z4p2xwH_
section_start:1655122076:resolve_secrets
Resolving secrets
section_end:1655122076:resolve_secrets
section_start:1655122076:prepare_executor
Preparing the "kubernetes" executor
Using Kubernetes namespace: glr-shared
Using Kubernetes executor with image harbor.dell.com/devops-images/traditional-
Preparing environment

注意事项 #

• 不要对ReadAsStringAsync()返回的字符串做额外的Unicode反转义处理，方法默认会将响应中\u001b格式的转义符解析为C#中可被\x1B匹配的ESC控制字符，手动反转义反而可能导致匹配失效
• 如果日志体量较大，使用RegexOptions.Compiled选项预编译正则，可以大幅提升长文本的替换性能

内容的提问来源于stack exchange，提问作者Asma