Logstash从PostgreSQL按日期查询时出现PGobject转换异常

嘿，这个问题我之前在对接PostgreSQL和Logstash的时候也碰到过！报错的核心原因是你的schema1.data表中date字段的实际类型是PostgreSQL的PGobject（可能是带时区的时间类型，或者自定义的日期类型），而Logstash的JDBC插件默认没有内置处理这种类型的转换器，所以才会抛出MissingConverterException。

下面给你两种实用的解决办法，按需选择：

方法一：在SQL查询里直接转换字段类型 #

这是最省心的方式，不用修改Logstash的配置逻辑，直接在SELECT语句里把PGobject类型转成标准的字符串或Java可识别的日期格式：

比如转成纯日期字符串：

SELECT *, CAST(date AS VARCHAR) AS formatted_date FROM schema1.data WHERE date = '2018-04-14'

如果是带时区的时间字段，还可以转成ISO标准格式：

SELECT *, TO_CHAR(date, 'YYYY-MM-DD"T"HH24:MI:SS"Z"') AS iso_date FROM schema1.data WHERE date = '2018-04-14'

之后你可以在Logstash的filter阶段把这个字符串转成标准的date类型：

filter {
  date {
    match => ["formatted_date", "yyyy-MM-dd"]
    target => "@timestamp" # 或者你想要映射到的目标字段
  }
}

方法二：用Ruby过滤器处理PGobject转换 #

如果你不想改动SQL查询，可以通过Logstash的Ruby过滤器来手动处理PGobject类型的字段：

filter {
  ruby {
    code => "
      # 检查字段是否为PGobject类型
      if event.get('date').is_a?(Java::OrgPostgresqlUtil::PGobject)
        # 获取PGobject的实际值并替换原字段
        event.set('date', event.get('date').getValue())
      end
    "
  }
  # 可选：把字符串转成标准date类型
  date {
    match => ["date", "yyyy-MM-dd"]
    target => "@timestamp"
  }
}

这个脚本会自动识别date字段的类型，如果是PGobject，就调用它的getValue()方法提取实际的字符串值，之后再用date过滤器转成你需要的日期格式。

另外小提醒：确保你的Logstash加载的PostgreSQL JDBC驱动版本和服务器版本匹配，版本不兼容也可能导致这类类型转换问题哦。

内容的提问来源于stack exchange，提问作者sontd