Logstash Kafka输出配置：单连接故障不阻塞，多实例独立运行方案

核心思路 #

要实现单个Kafka连接故障不影响整体运行，核心是配置多Broker地址让客户端自动切换可用节点，同时通过参数优化避免连接失败时阻塞整个Logstash管道。

具体配置调整方案 #

• 配置多Kafka实例地址：在bootstrap_servers中用逗号分隔多个Broker的地址和端口，Logstash的Kafka客户端会自动发现集群中的可用节点，单个节点故障时会切换到其他正常节点。
• 设置重试机制：配置重试次数和间隔，避免临时网络波动导致的连接失败直接引发阻塞。
• 禁用缓冲区满时的阻塞：设置block_on_buffer_full => false，当发送缓冲区满时，Logstash不会阻塞输入，而是根据配置处理溢出消息。
• 优化发送性能与可靠性：调整批量发送参数，平衡吞吐量和消息可靠性。

修改后的配置示例 #

input {
  stdin {}
}
output {
  kafka {
    # 配置多个Kafka Broker实例，用逗号分隔
    bootstrap_servers => "broker1:9092,broker2:9092,broker3:9092"
    security_protocol => ""
    ssl_key_password => ""
    ssl_keystore_password => ""
    ssl_truststore_password => ""
    ssl_keystore_location => "/tmp"
    ssl_truststore_location => "/tmp"
    topic_id => "test"
    ssl_endpoint_identification_algorithm => ""
    
    # 重试配置：重试3次，每次间隔1秒
    retries => 3
    retry_backoff_ms => 1000
    
    # 禁用缓冲区满时的阻塞，避免卡住整个管道
    block_on_buffer_full => false
    
    # 批量发送优化：累积100条或等待1秒再发送
    batch_size => 100
    linger_ms => 1000
    
    # 控制每个连接的并发请求数，平衡顺序性与吞吐量
    max_in_flight_requests_per_connection => 5
  }
  stdout {}
}

额外说明 #

• 如果需要保证消息严格有序，可将max_in_flight_requests_per_connection设为1，但会牺牲部分吞吐量。
• 若要处理无法重试发送的消息，可配置dead_letter_queue参数，将失败消息转发到指定队列，避免数据丢失。

内容的提问来源于stack exchange，提问作者john