关于Logstash输出至Elasticsearch的两类技术问题咨询

问题一：能否为Logstash输出到Elasticsearch的每条数据设置不同文档ID？ #

当然可以！Logstash的elasticsearch输出插件本身就支持指定自定义文档ID，只需要添加document_id参数就能实现，具体分两种常见场景：

• 复用数据中已有唯一字段：如果你的输入数据本身带有唯一标识（比如日志的trace_id、业务数据的order_id等），直接通过字段引用语法把它设为文档ID：

  elasticsearch { 
    hosts => ["localhost:9200"] 
    index => "name_of_index" 
    http_compression => true
    document_id => "%{[trace_id]}" # 替换成你数据中的实际唯一字段名
  }
  

  这里的%{[字段名]}是Logstash的标准字段引用写法，会自动提取对应字段的值作为该条数据的文档ID。
• 生成全新唯一ID：如果数据里没有现成的唯一标识，可以先在filter阶段用uuid过滤器生成一个唯一ID字段，再在输出阶段引用它：
  先添加filter配置：

  filter {
    uuid {
      target => "custom_doc_id" # 生成的UUID会存在这个字段中
    }
  }
  

  再修改output配置：

  elasticsearch { 
    hosts => ["localhost:9200"] 
    index => "name_of_index" 
    http_compression => true
    document_id => "%{[custom_doc_id]}"
  }
  

需要注意：文档ID是全局唯一的，相同ID的后续数据会覆盖之前的条目，要根据业务需求确认是否需要这种覆盖逻辑。

问题二：能否在Logstash配置内解决Elasticsearch节点yellow状态的问题？ #

完全可以！Elasticsearch出现yellow状态最常见的原因是副本分片无法分配——默认情况下Elasticsearch索引的副本数是1，但如果你的环境只有单个Elasticsearch节点，副本分片没有其他节点可以部署，就会处于未分配状态，导致集群状态变黄。

我们可以直接在Logstash的elasticsearch输出配置中指定索引的副本数，让Logstash在创建索引时就设置合适的参数，从根源避免yellow状态：

elasticsearch { 
  hosts => ["localhost:9200"] 
  index => "name_of_index" 
  http_compression => true
  # 单节点环境推荐设置副本数为0，多节点可根据节点数调整（比如2节点设为1）
  index_settings => { 
    "number_of_replicas" => 0 
  }
}

如果你的索引已经提前创建好了，这个配置只会对新创建的索引生效，已存在的索引需要手动调整副本数（比如通过DSL命令：PUT /name_of_index/_settings { "number_of_replicas": 0 }）。

内容的提问来源于stack exchange，提问作者Orkun