Logstash中sql_last_value与last_run_metadata_path配置异常问题

问题场景 #

• 突发维护场景：手动启停Logstash且不清理数据库，需确保重启后能同步未采集的记录；
• 计划维护场景：执行TRUNCATE清空数据库后ID归零，修改last_run_metadata_path指定文件的数值后，Logstash仍保留旧ID值，导致新记录无法被采集。

当前配置 #

input {
  jdbc {
    codec => plain { charset=>"UTF-8" }
    clean_run => false
    jdbc_driver_library => "C:\com.mysql.jdbc_5.1.5.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/talend_logs?characterEncoding=utf8"
    jdbc_user => "root"
    jdbc_password => "************"
    schedule => "* * * * *"
    statement => "SELECT id, pid, ...... FROM flowlogs WHERE id > :sql_last_value order by id" 
    use_column_value => true
    tracking_column => "id"
    last_run_metadata_path => "C:\logstash-8.6.1\config\lastValueOfMySqlForLogs.yml"
  }
}

output {
  elasticsearch {
    hosts => ["https://localhost:9200"]
    index => "myLogs"
    user => "elastic"
    password => "*********"
    cacert => "C:\elasticsearch-8.6.1\config\certs\http_ca.crt"
  }

stdout{}

}

已尝试操作 #

• 设置clean_run => true：每次重启都会从0开始同步，符合文档描述，但无法满足突发维护场景的续采需求；
• 设置clean_run => false并指定last_run_metadata_path：能读取文件初始值，但修改文件数值后Logstash不生效，无法适配数据库清空后的同步需求。

疑问 #

是否误解了Logstash的索引行为？能否通过ID实现上述两类场景的需求？（无法使用日期字段）

解决方案 #

针对突发维护场景 #

你的当前配置已经满足需求：clean_run => false + 指定last_run_metadata_path，Logstash会自动在每次同步后更新lastValueOfMySqlForLogs.yml里的最大ID值。重启时会读取这个值，从该ID之后开始同步未采集的记录，无需额外操作。如果之前出现重启后未续采，检查下文件是否有读写权限，或者Logstash是否正常关闭（异常关闭可能导致文件未更新）。

针对计划维护场景 #

修改last_run_metadata_path文件后Logstash不生效，是因为Logstash启动时会把这个值加载到内存，运行中修改文件不会触发重新读取。解决方法有两种：

1. 临时设置clean_run => true重启一次：启动后Logstash会从ID=0开始同步，同步完成后再把clean_run改回false并重启，此时last_run_metadata_path文件会被更新为当前最大ID，后续恢复正常续采。
2. 手动修改文件后重启Logstash：修改lastValueOfMySqlForLogs.yml里的数值为0，然后完全停止Logstash进程再重启，不要用热重载（热重载不会重新读取元数据文件）。

额外建议 #

• 避免使用TRUNCATE清空数据库，改用DELETE FROM flowlogs，这样自增ID不会归零，后续新记录ID会延续之前的数值，无需修改Logstash配置。如果必须用TRUNCATE，记得同步处理Logstash的元数据文件并重启服务。
• 确保last_run_metadata_path指定的路径有Logstash进程的读写权限，否则元数据无法正常更新。

内容的提问来源于stack exchange，提问作者Cedric MATHIS