Logstash未更新sql_last_value元数据文件问题排查求助

• SQL查询无返回结果：如果增量查询（比如WHERE update_time > :sql_last_value）连续几次轮询都没匹配到新数据，Logstash默认不会更新sql_last_value，因为没有可记录的新时间戳。
• 时间字段数据异常：
  • 待采集表的时间字段（如update_time）出现重复的最大值，后续没有更大的时间值产生，sql_last_value会一直停留在这个值上。
  • 时间字段存在空值或非时间格式数据，JDBC插件处理时无法正确提取最大时间戳，导致sql_last_value停滞，且不会输出错误日志。
• metadata文件权限问题：若存储sql_last_value的metadata文件（默认路径~/.logstash_jdbc_last_run）所在目录没有写入权限，插件无法更新文件内容，属于静默失败，无错误日志输出。
• JDBC插件配置遗漏或错误：
  • 未正确配置tracking_column参数，或参数值与查询中使用的时间字段名不匹配，插件无法识别追踪字段，不会更新sql_last_value。
  • 误将last_run_metadata_path设为不存在的路径，插件初始化创建文件失败，后续轮询只会沿用初始值，无报错信息。
• Logstash进程异常终止：数据采集完成后，Logstash还没来得及写入sql_last_value就被强制终止（如OOM、系统杀进程），metadata文件不会更新，下次启动沿用旧值。
• 时区不匹配：Logstash服务器时区与数据库时区不一致，比如数据库是UTC+8，Logstash是UTC，插件计算的最大时间戳比实际新数据时间小，后续查询无法命中新数据，sql_last_value也不会更新。
• 查询语句逻辑错误：比如增量条件写成WHERE update_time >= :sql_last_value，当存在与sql_last_value相同时间戳的数据时，每次轮询都会重复采集，但插件因没有更大的时间值，不会更新sql_last_value，进入循环。

内容的提问来源于stack exchange，提问作者Ron Weasley