Logstash字段动态解析求助：error字段类型不一致致解析失败

你的问题核心是error字段类型不统一：有时是字符串，有时是嵌套JSON对象，而Elasticsearch的映射要求该字段为text类型，对象类型的error会触发解析失败。

之前的条件判断无效的原因是：当error是嵌套JSON对象时，Logstash已经将其解析为Hash（哈希）类型，而非字符串，所以基于字符串内容的判断（比如检查是否包含{、正则匹配）根本不会触发。

解决方案：基于字段类型处理 #

使用Logstash的ruby过滤器直接判断字段类型，将嵌套的Hash类型error序列化为JSON字符串，确保最终传入ES的都是字符串类型：

filter {
    ruby {
        code => '
            # 检查error字段是否为Hash类型（即嵌套JSON对象）
            if event.get("error").is_a?(Hash)
                # 将Hash序列化为JSON字符串
                event.set("error", event.get("error").to_json)
            end
        '
    }
}

额外场景处理（可选） #

如果你的字符串类型error中也存在JSON格式的字符串（比如{"error": "{\"msg\":\"failed\"}"}），可以先尝试解析，失败则保留原字符串：

filter {
    # 先尝试解析字符串类型的error为JSON
    json {
        source => "error"
        target => "error_parsed"
        skip_on_invalid_json => true
    }
    # 如果解析成功，用解析后的对象覆盖原error（再转成字符串）
    if [error_parsed] {
        ruby {
            code => '
                event.set("error", event.get("error_parsed").to_json)
                event.remove("error_parsed")
            '
        }
    }
    # 最后处理原本就是Hash类型的error
    ruby {
        code => '
            if event.get("error").is_a?(Hash)
                event.set("error", event.get("error").to_json)
            end
        '
    }
}

验证方式 #

添加stdout { codec => rubydebug }输出，查看处理后的event中error字段是否统一为字符串类型，再发送到ES验证是否还会触发解析错误。

内容的提问来源于stack exchange，提问作者pca