You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

MongoDB Kafka官方连接器无法自动创建Kafka主题问题求助

MongoDB Kafka官方连接器无法自动创建Kafka主题问题求助

大家好,我最近在折腾MongoDB Kafka官方连接器,想实现一个功能——在通过SQL命令创建源连接器的同时,让系统自动生成对应的Kafka主题,这样拉取MongoDB的logistics库orders集合数据时,就能直接往新主题里写入了。不过目前试了好几次,预期的Kafka主题都没自动建出来,想请教下有没有人遇到过类似问题,或者帮我看看我的配置哪里出问题了?

我用的CREATE SOURCE CONNECTOR命令如下:

CREATE SOURCE CONNECTOR logistics_n WITH (
  'connector.class' = 'com.mongodb.kafka.connect.MongoSourceConnector',
  'connection.uri' = 'mongodb://mongo-xxxx:xxxx@mongo:27017/?replicaSet=my-replica-set',
  'database' = 'logistics',
  'collection' = 'orders',
  'topic.prefix' = 'json',
  'output.format.value' = 'json',
  'output.format.key' = 'json',
  'key.converter.schemas.enable' = false,
  'value.converter.schemas.enable' = false,
  'key.converter' = 'org.apache.kafka.connect.json.JsonConverter',
  'value.converter' = 'org.apache.kafka.connect.json.JsonConverter',
  'pipeline' = '[{$match: {operationType: "insert"}}, {$addFields : {"fullDocument.travel":"MongoDB Kafka Connector"}}]'
);

我自己也梳理了几个可能的排查方向,但还没找到根因:

  • 首先怀疑是不是Kafka集群的自动创建主题开关没开?我还没去确认auto.create.topics.enable参数是不是设为true,不过之前用其他连接器是可以自动创建的,应该没问题?
  • 然后看连接器配置的topic.prefix是json,理论上生成的主题应该是json.logistics.orders,我去Kafka里查过这个命名的主题,确实没有。
  • 还有,连接器的任务状态我还没仔细看,会不会是连接器本身没正常启动,比如MongoDB连接失败或者权限问题,导致数据拉取没触发,自然也不会创建主题?
  • 另外我在pipeline里只监听了insert操作,会不会是当前orders集合没有新的insert操作,所以连接器还没触发主题创建?毕竟之前听人说有些连接器要实际有数据发送才会去创建主题。

有没有大佬能帮我分析下,或者有其他我没考虑到的排查点?麻烦大家了!

内容来源于stack exchange

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.08 03:08:16