使用Logstash-input-mongodb插件同步MongoDB至Elasticsearch的配置求助

我来帮你梳理下这个Logstash同步MongoDB到Elasticsearch的配置问题，先从几个容易踩坑的点入手：

1. 修复Elasticsearch输出的弃用参数 #

你配置里的host => "localhost:9200"已经被官方弃用了，现在ES输出插件要求用复数形式的hosts，如果只连单节点就写成数组格式：

hosts => ["localhost:9200"]

用旧参数会直接导致Logstash启动失败，这是最常见的小问题。

2. 补全Stdout输出的配置 #

你的stdout部分只写了cod...，应该是要加codec来格式化控制台输出，方便调试同步的数据。推荐用rubydebug codec，能清晰展示每条数据的结构：

stdout { codec => rubydebug }

开启这个后，启动Logstash就能在控制台看到同步的具体数据，方便排查数据是否正常读取或转换。

3. 验证MongoDB输入插件的关键配置 #

• 目录权限要到位：placeholder_db_dir指定的/opt/logstash-mongodb/目录，必须给Logstash进程读写权限，不然它没法创建SQLite数据库来记录同步进度（比如上次同步到哪个位置），会导致重复同步或者启动报错。你可以用这个命令设置权限：

  sudo chown -R logstash:logstash /opt/logstash-mongodb/
  

  （假设你的Logstash是用logstash用户运行的，根据实际情况调整）
• batch_size配置合理：202这个值没问题，但如果你的MongoDB数据量极大，可以根据服务器内存情况微调，避免一次性拉取太多数据导致内存溢出。

4. 完整的修正后配置示例 #

input {
  mongodb {
    uri => 'mongodb://localhost:27017/test'
    placeholder_db_dir => '/opt/logstash-mongodb/'
    placeholder_db_name => 'logstash_sqlite.db'
    collection => 'student'
    batch_size => 202
  }
}
filter { }
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    user => elastic
    password => changeme
    index => "testStudent"
  }
  stdout { codec => rubydebug }
}

5. 启动与排查技巧 #

• 用调试模式启动Logstash，能看到详细日志：

  bin/logstash -f your-config-file.conf --debug
  

  从日志里能快速定位MongoDB连接失败、ES认证错误、权限不足等问题。
• 先确认MongoDB和Elasticsearch服务都正常运行，端口能访问：用telnet localhost 27017和telnet localhost 9200测试连通性，不通的话先搞定服务启动问题。
• 检查ES的用户权限：如果你的ES开启了安全功能，确保elastic用户（或者你指定的用户）有写入testStudent索引的权限，不然会报权限错误。

内容的提问来源于stack exchange，提问作者monti