Logstash HTTP输出插件变量替换失效问题求助

问题原因 #

Logstash 8.1.0版本的http输出插件不支持在url参数中直接使用事件字段引用（%{[logstash_url]}）。该参数在配置加载阶段就会被解析并初始化全局HTTP客户端，无法在处理单个事件时动态替换字段变量，最终导致原变量字符串被当作URL的一部分，触发URI语法错误。

解决方案 #

方案1：使用Ruby输出插件实现动态HTTP请求 #

通过Ruby代码在输出阶段根据事件字段动态构造URL并发送请求，完全支持每个事件使用不同的目标地址：

output {
    ruby {
        code => '
            require "net/http"
            require "json"

            # 从事件中获取目标URL前缀，构造完整请求地址
            target_host = event.get("[logstash_url]")
            url = URI("http://#{target_host}:5044")
            
            # 初始化HTTP客户端
            http = Net::HTTP.new(url.host, url.port)
            # 如果使用HTTPS，取消下面注释
            # http.use_ssl = true
            # http.verify_mode = OpenSSL::SSL::VERIFY_NONE

            # 构造POST请求
            request = Net::HTTP::Post.new(url)
            request["Content-Type"] = "application/json"
            request.body = event.to_json

            # 发送请求并处理响应（可根据需求添加重试、错误捕获）
            begin
                response = http.request(request)
                if response.is_a?(Net::HTTPSuccess)
                    # 请求成功逻辑
                else
                    # 请求失败逻辑，比如记录日志
                    logger.error("HTTP请求失败", status: response.code, message: response.body)
                end
            rescue => e
                logger.error("HTTP请求异常", error: e.message)
            end
        '
    }
}

方案2：Pipeline-to-Pipeline路由（适合固定目标实例） #

如果目标Logstash实例数量固定，可通过管道间路由，将不同logstash_url的事件分发到对应子管道，每个子管道使用静态URL的http输出：

主管道配置

output {
    # 根据logstash_url字段值，将事件发送到对应子管道
    pipeline {
        send_to => "%{[logstash_url]}"
    }
}

子管道配置（示例：目标实例为ls-node-01）

# 子管道输入，接收主路由过来的事件
input {
    pipeline {
        address => "ls-node-01"
    }
}

output {
    http {
        url => "http://ls-node-01:5044"
        retry_failed => false
        http_method => "post"
        retry_non_idempotent => true
        format => "json_batch"
        http_compression => true
    }
}

注意事项 #

• 方案1需自行处理异常、重试等逻辑，可根据业务需求扩展；
• 方案2仅适用于目标实例数量固定的场景，若logstash_url值动态多变，优先选择方案1。

内容的提问来源于stack exchange，提问作者Powergoku