Logstash Date过滤器add_field不生效问题求助

你的问题核心在于date过滤器的add_field仅在日期匹配成功时才会执行，同时配置里的target字段使用了@开头的元数据格式，可能引发冲突。以下是具体排查和修复方案：

1. 核心问题点 #

• add_field属于date过滤器的条件执行操作：只有当old_date字段能被指定的YYYY-MM-dd格式成功解析时，才会添加newdate字段。如果old_date不存在、格式不匹配，add_field不会触发。
• target => "@newdate"使用了@前缀，这是Logstash元数据字段的命名规则（比如默认的@timestamp），自定义这类字段可能导致未预期的行为，建议改用普通字段名。

2. 修复方案 #

场景一：无论日期解析是否成功，都要添加newdate字段 #

将add_field移到mutate过滤器中单独执行，避免依赖date过滤器的匹配结果：

filter {
    # 解析old_date到普通字段（可选，根据需求保留）
    date {
        locale => "en"
        match => ["old_date", "YYYY-MM-dd"] 
        timezone => "Asia/Kolkata"
        target => "parsed_old_date" # 改用普通字段名
    }
    # 独立添加固定值字段
    mutate {
        add_field => { "newdate" => "2022-10-06" }
    }
}

场景二：仅在日期解析成功时添加newdate字段 #

确保old_date格式正确，同时修正target字段名：

filter {
    date {
        locale => "en"
        match => ["old_date", "YYYY-MM-dd"] 
        timezone => "Asia/Kolkata"
        add_field => { "newdate" => "2022-10-06" }
        target => "parsed_old_date" # 去掉@前缀，使用普通字段
    }
}

3. 排查步骤 #

• 验证输入事件：在output中添加stdout { codec => rubydebug }，查看old_date字段是否存在、格式是否严格为YYYY-MM-dd（无多余空格、时间后缀等）。
• 检查过滤器顺序：如果使用了多个过滤器，确保mutate或date过滤器没有被其他过滤器覆盖、删除字段。
• 确认时区配置：Asia/Kolkata时区是否符合你的数据实际时区，避免解析失败。

内容的提问来源于stack exchange，提问作者Ashok