如何将Jenkins控制台日志发送至Elastic？适配Freestyle等作业

一、声明式流水线（含Multibranch）实现方式 #

完全可以在Jenkinsfile中获取控制台日志并通过cURL推送到Elastic，具体步骤如下：

1. 提取错误日志 #

利用Jenkins内置的currentBuild对象获取构建日志，可过滤出包含错误关键字的行：

script {
    // 筛选包含ERROR/FAILURE的日志行，也可直接获取完整日志
    def errorLogs = currentBuild.rawBuild.getLog().findAll { line -> 
        line =~ /ERROR|FAILURE|Exception/ 
    }.join('\n')
}

2. 构建后置推送逻辑 #

在流水线的post阶段中，判断构建失败时执行cURL命令发送日志到Elastic：

pipeline {
    agent any
    stages {
        stage('Build') {
            steps {
                // 替换为你的实际构建步骤
                sh 'mvn clean package'
            }
        }
    }
    post {
        failure {
            script {
                def errorLogs = currentBuild.rawBuild.getLog().findAll { line -> 
                    line =~ /ERROR|FAILURE|Exception/ 
                }.join('\n')
                // 构造Elastic请求JSON，注意转义特殊字符
                def payload = """
                {
                    "job_name": "${env.JOB_NAME}",
                    "build_number": ${env.BUILD_NUMBER},
                    "build_url": "${env.BUILD_URL}",
                    "error_content": "${errorLogs.replace('"', '\\"').replace('\n', '\\n')}",
                    "occur_time": "${new Date().format('yyyy-MM-dd HH:mm:ss')}"
                }
                """
                // 发送请求到Elastic，替换为你的集群地址和索引名
                sh """
                curl -X POST "http://your-elastic-server:9200/jenkins-build-errors/_doc" \
                -H "Content-Type: application/json" \
                -d '${payload}'
                """
            }
        }
    }
}

二、Freestyle作业实现方式 #

Freestyle不支持Jenkinsfile，但可通过构建后置步骤实现相同效果：

1. 添加条件执行的后置命令 #

在Freestyle作业的「构建后操作」中添加「Execute shell」（或Windows批处理）步骤，勾选「仅当构建失败时运行」。

2. 日志获取与推送脚本 #

通过Jenkins环境变量和控制台文本URL获取日志，再用cURL发送：

# 获取控制台日志并过滤错误行，限制前500行避免过大
ERROR_CONTENT=$(curl -s "${BUILD_URL}consoleText" | grep -E "ERROR|FAILURE|Exception" | head -500)
# 转义特殊字符，保证JSON格式合法
ESCAPED_LOG=$(echo "${ERROR_CONTENT}" | sed 's/"/\\"/g; s/\n/\\n/g')
# 构造请求体并发送
curl -X POST "http://your-elastic-server:9200/jenkins-build-errors/_doc" \
-H "Content-Type: application/json" \
-d '{
    "job_name": "'"${JOB_NAME}"'",
    "build_number": '"${BUILD_NUMBER}"',
    "build_url": "'"${BUILD_URL}"'",
    "error_content": "'"${ESCAPED_LOG}"'",
    "occur_time": "'"$(date +'%Y-%m-%d %H:%M:%S')"'"
}'

Windows环境可改用PowerShell脚本，核心逻辑一致：通过Invoke-RestMethod获取控制台日志，处理后再发送到Elastic。

三、通用注意事项 #

• 网络权限：确保Jenkins节点能访问Elastic集群，目标索引已创建且配置了写入权限。
• 日志大小控制：避免推送全量日志，通过关键字过滤或行数限制减少数据量，防止Elastic存储过载。
• 特殊字符处理：必须转义日志中的双引号、换行符等特殊字符，否则会导致JSON解析失败。

内容的提问来源于stack exchange，提问作者Mariglen Meta