Logstash MongoDB输入插件因timestamp陷入重启循环错误求助

我之前也碰到过完全一样的坑！从你的配置和报错提示来看，大概率是MongoDB集合里的timestamp字段格式不兼容，或者插件默认的时间追踪/解析逻辑出了问题。给你几个实用的排查和解决方向：

1. 先确认MongoDB中timestamp字段的类型 #

插件默认会把timestamp当作追踪读取位置的时间字段，如果这个字段的类型不是MongoDB原生的ISODate，或者格式不符合插件的预期，就会抛出异常导致Logstash重启。

你可以用Mongo Shell快速验证：

db.logCollection_ALL.findOne({timestamp: {$exists: true}}, {timestamp: 1})

如果返回的是字符串、数字（比如Unix时间戳），而不是ISODate("2024-05-20T12:34:56.789Z")这种格式，那就是类型问题了。

2. 调整Logstash配置，绕过或自定义时间处理 #

方案A：指定自定义的追踪字段 #

如果你的集合里有其他靠谱的时间字段（比如created_at），可以让插件用这个字段来追踪读取进度，避开有问题的timestamp：

input {
  mongodb {
    uri => 'mongodb://localhost:27017/testDB'
    placeholder_db_dir => '/Users/TEST/Documents/WORK/ELK_Stack/LogStash/data/'
    collection => 'logCollection_ALL'
    batch_size => 50
    tracking_field => "created_at" # 替换成你实际可用的时间字段
  }
}
filter {}
output {
  stdout {}
}

方案B：禁用自动时间追踪（谨慎使用） #

如果不需要插件记住上次读取的位置（会导致重复读取所有数据），可以直接关闭追踪功能：

input {
  mongodb {
    uri => 'mongodb://localhost:27017/testDB'
    placeholder_db_dir => '/Users/TEST/Documents/WORK/ELK_Stack/LogStash/data/'
    collection => 'logCollection_ALL'
    batch_size => 50
    use_tracking => false
  }
}

方案C：自己在Filter里解析时间 #

如果timestamp是字符串格式，完全可以让输入插件跳过解析，交给Filter里的date插件处理：

input {
  mongodb {
    uri => 'mongodb://localhost:27017/testDB'
    placeholder_db_dir => '/Users/TEST/Documents/WORK/ELK_Stack/LogStash/data/'
    collection => 'logCollection_ALL'
    batch_size => 50
    use_tracking => false # 或者换追踪字段
  }
}
filter {
  date {
    match => ["timestamp", "yyyy-MM-dd HH:mm:ss", "ISO8601"] # 匹配你的字符串格式
    target => "@timestamp" # 转成Logstash标准时间字段
  }
}
output {
  stdout {}
}

3. 修复MongoDB中的数据格式 #

如果确实是timestamp字段类型混乱（比如部分是字符串，部分是ISODate），可以批量转换统一格式。比如把字符串转成ISODate：

// 先备份数据！再执行这个操作
db.logCollection_ALL.find({timestamp: {$type: "string"}}).forEach(function(doc) {
  db.logCollection_ALL.updateOne(
    {_id: doc._id},
    {$set: {timestamp: new Date(doc.timestamp)}}
  )
})

4. 查看完整报错日志 #

你贴的日志被截断了，建议去Logstash的日志目录（默认是logstash/logs）找完整的异常栈信息，里面会明确指出具体错误（比如“无法解析字符串为日期”“字段类型不匹配”），能帮你更快定位问题。

内容的提问来源于stack exchange，提问作者Gourmax