能否在Logstash输出配置中指定Partition ID实现Kafka分区映射？

可以通过在Logstash Kafka输出插件中指定partition参数来实现需求，具体调整如下：

核心修改点 #

在你的输出配置中，添加partition参数，直接引用filter阶段提取的原分区号字段[partition_number]：

output {
   kafka {
     topic_id => "topic-one"
     bootstrap_servers => "cluster_two"
     codec => json
     partition => "%{[partition_number]}"  # 指定使用原集群的分区号
   }
}

关键说明 #

1. 分区匹配逻辑：配置后，每个从cluster_one某分区读取的事件，会被直接发送到cluster_two目标topic的对应编号分区。
2. 前置条件：确保cluster_two的topic-one分区数不小于cluster_one中源topic的分区数。如果目标分区数更少，Kafka会对原分区号做取模运算，导致分区无法一一对应。
3. 配置细节优化：原配置中topic_id使用数组格式（["topic-one"]），单个topic场景下直接写字符串即可，数组适用于批量指定多个topic的场景。
4. 字段有效性验证：你当前的filter配置已经通过mutate将原分区号存入[partition_number]，且input阶段开启了decorate_events => true，因此[@metadata][kafka][partition]字段是有效可提取的，无需额外调整filter逻辑。

内容的提问来源于stack exchange，提问作者Gan3i