无法在Confluent Cloud创建ExtractTopic转换的问题及替代方案咨询

Confluent Cloud近期托管版ElasticSinkConnector迭代更新后，确实已下线内置ExtractTopic单消息转换（SMT）功能，该调整属于云托管组件的统一适配优化，未针对个人用户单独发送通知。

等效替代方案 #

可根据你的使用场景选择以下任意一种方案实现同等效果：

• 方案1：使用内置ExtractField SMT实现等效逻辑
  若你的Kafka消息体或消息头中已包含对应topic名称字段，可通过ExtractField SMT提取该字段值作为Elasticsearch索引名，核心配置示例如下：

  "transforms": "extractIndexFromField",
  "transforms.extractIndexFromField.type": "org.apache.kafka.connect.transforms.ExtractField$Value",
  "transforms.extractIndexFromField.field": "target_topic_field",
  "index.name": "${value.target_topic_field}"
  

• 方案2：上游生产链路预写入索引标识
  在Kafka消息生产阶段，直接在消息头或者消息体中写入需要映射的Elasticsearch索引名称，托管版ElasticSinkConnector原生支持直接读取指定字段作为索引名，无需额外配置SMT。
• 方案3：切换为自托管ElasticSinkConnector
  如果你必须使用ExtractTopic原生功能，可将连接器部署在自托管的Confluent Platform集群中，手动导入ExtractTopic SMT的依赖jar包到连接器类路径即可正常使用，该方案不支持Confluent Cloud完全托管实例。

内容的提问来源于stack exchange，提问作者bala n