如何用Kafka Streams写入外部Kafka集群主题及配置？

是否支持写入外部Kafka主题？ #

完全支持。Kafka Streams允许通过针对特定输出主题单独配置生产者参数的方式，将数据写入与读取集群不同的外部Kafka集群，无需额外依赖插件，核心是为外部集群的生产者独立配置连接信息。

YAML配置方法 #

核心配置思路 #

通过producer.override.<target-topic-name>配置项，为需要写入外部集群的主题单独指定生产者参数（包括外部集群的bootstrap.servers），让Kafka Streams针对该主题的写入请求路由到外部集群。

YAML配置示例 #

# Kafka Streams基础配置（连接内部集群用于读取）
application.id: cross-cluster-data-forwarder
bootstrap.servers: internal-kafka-cluster:9092
default.key.serde: org.apache.kafka.common.serialization.Serdes$StringSerde
default.value.serde: org.apache.kafka.common.serialization.Serdes$StringSerde
processing.guarantee: exactly_once_v2

# 针对外部输出主题的生产者配置（覆盖默认内部集群连接）
producer.override.external-target-topic:
  bootstrap.servers: external-kafka-cluster:9092
  # 外部集群安全配置（根据实际情况添加，示例为SSL认证）
  security.protocol: SSL
  ssl.truststore.location: /opt/kafka/config/truststore.jks
  ssl.truststore.password: secure-truststore-pass
  # 其他生产者可选参数
  acks: all
  retries: 3

关键配置说明 #

• producer.override.<topic-name>：Kafka Streams专属配置，用于为指定输出主题单独设置生产者参数，优先级高于全局生产者配置。
• 如果需要将多个主题写入同一个外部集群，可使用streams.producer全局覆盖生产者参数，但这种方式会影响所有输出主题；若需写入多个不同外部集群，建议为每个主题单独配置producer.override。
• 安全配置需严格匹配外部Kafka集群的认证要求，比如SASL/PLAIN认证可添加sasl.mechanism、sasl.jaas.config等参数。

内容的提问来源于stack exchange，提问作者Евгения Гребенюк