Logstash向PostgreSQL插入数据时未正确处理空值问题

你遇到的空值处理异常，是因为当Elasticsearch中的字段为空时，Logstash的字符串插值%{inputdata}无法解析出有效字段值，会直接把占位符文本（比如%{inputdata}）作为实际值插入PostgreSQL，而不是转换为SQL标准的NULL。

直接利用Logstash sprintf语法的默认值指定功能，让字段为空时显式传入null，JDBC驱动会自动将其映射为PostgreSQL的空值。修改你的JDBC输出配置如下：

input {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "input_data"
  }
}
output {
  jdbc {
    connection_string => "jdbc:postgresql://hostname:5432/database"
    username => "username"
    password => "password"
    driver_jar_path => "C:/postgresql-42.5.1.jar"
    driver_class => "org.postgresql.Driver"
    statement => [
      "INSERT INTO data_post_two (inputdata,metric,source_table,output_column_alias,method) VALUES (?, ?, ?, ?, ?)",
      "%{inputdata:null}",
      "%{metric:null}",
      "%{source_table:null}",
      "%{output_column_alias:null}",
      "%{method:null}"
    ]
  }
}

关键说明 #

• %{字段名:null}是Logstash的内置语法：当目标字段存在且有有效值时，使用字段值；如果字段为空或不存在，就用指定的默认值null。
• 传入null后，JDBC驱动会自动将其转换为SQL中的NULL，插入PostgreSQL后对应字段会显示为空值，不再出现占位符文本。

进阶处理（区分空字符串与无字段） #

如果需要严格区分字段不存在和字段值为空字符串的情况，可以在input和output之间添加一个ruby过滤器，提前将空字符串转为null：

filter {
  ruby {
    code => "
      # 遍历需要处理的字段列表
      ['inputdata', 'metric', 'source_table', 'output_column_alias', 'method'].each do |field|
        val = event.get(field)
        # 如果字段值为空字符串或nil，设置为null
        if val.nil? || val.to_s.empty?
          event.set(field, nil)
        end
      end
    "
  }
}

添加这个过滤器后，JDBC输出的参数可以直接用%{inputdata}，因为空值已经被统一处理为null，Logstash会正确传递给JDBC驱动。

内容的提问来源于stack exchange，提问作者Mahendra kanoujiya