如何从Python-Gitlab的ProjectJob.trace输出提取Terraform警告信息

问题背景 #

使用python-gitlab的ProjectJob.trace接口获取GitLab CI中Terraform作业的日志，需要提取所有包含“Warning”的消息，并将项目ID、流水线ID、作业ID、作业名称及警告内容输出到文本文件。现有正则仅适配特定格式，无法处理结尾无固定模式的警告。

1. ProjectJob.trace的输出能否调整为更便于字符串/行检索的格式？ #

python-gitlab的ProjectJob.trace()接口默认返回原始文本格式的日志内容，和GitLab页面展示的日志结构完全一致，本身就是按行分割的。不需要额外调整格式，直接将返回内容按换行符\n拆分，就能得到逐行的日志列表，方便检索处理。

示例代码：

import gitlab

# 初始化GitLab客户端
gl = gitlab.Gitlab('https://your-gitlab-instance.com', private_token='your-token')
project = gl.projects.get('your-project-id')
job = project.jobs.get('your-job-id')

# 获取日志并拆分为行列表
trace_content = job.trace()
log_lines = trace_content.split('\n')

2. 当警告信息结尾无固定规律时，如何准确提取完整的警告内容？ #

结合Terraform警告的常见特征，采用起始行标记+上下文延续判断的方式提取完整警告：

• 警告通常以Warning:/WARNING:/warning:开头（需兼容大小写）
• 警告可能跨多行，后续行通常是缩进的详情，或无其他日志级别的标识
• 终止条件：遇到空行、其他日志级别（Error/Info等）、GitLab CI命令前缀（$ ）、系统日志行（如Running with gitlab-runner...）

核心提取逻辑示例：

# 定义警告触发关键词（兼容大小写和不同前缀）
warning_triggers = ['warning:', 'warning ', 'warning']
current_warning = []
collected_warnings = []

for line in log_lines:
    line_stripped = line.strip()
    line_lower = line_stripped.lower()
    
    # 检测是否是警告起始行
    if any(line_lower.startswith(trigger) for trigger in warning_triggers):
        # 先保存上一条未完成的警告
        if current_warning:
            collected_warnings.append('\n'.join(current_warning))
            current_warning = []
        current_warning.append(line_stripped)
    # 正在收集警告时，判断是否继续
    elif current_warning:
        # 判断是否到达警告终止条件
        stop_collect = (
            line_stripped == ''
            or line_lower.startswith('error:')
            or line_lower.startswith('info:')
            or line.startswith('$ ')
            or line_lower.startswith('running with')
        )
        if stop_collect:
            collected_warnings.append('\n'.join(current_warning))
            current_warning = []
        else:
            current_warning.append(line_stripped)

# 处理最后一条未完成的警告
if current_warning:
    collected_warnings.append('\n'.join(current_warning))

写入结果到文件：

with open('terraform_warnings.log', 'a', encoding='utf-8') as f:
    for warning in collected_warnings:
        f.write(f"项目ID: {project.id}\n")
        f.write(f"流水线ID: {job.pipeline['id']}\n")
        f.write(f"作业ID: {job.id}\n")
        f.write(f"作业名称: {job.name}\n")
        f.write(f"警告内容:\n{warning}\n")
        f.write("==============================\n")

内容的提问来源于stack exchange，提问作者YAZ84