MongoDB Kafka官方连接器无法自动创建Kafka主题问题求助
MongoDB Kafka官方连接器无法自动创建Kafka主题问题求助
大家好,我最近在折腾MongoDB Kafka官方连接器,想实现一个功能——在通过SQL命令创建源连接器的同时,让系统自动生成对应的Kafka主题,这样拉取MongoDB的logistics库orders集合数据时,就能直接往新主题里写入了。不过目前试了好几次,预期的Kafka主题都没自动建出来,想请教下有没有人遇到过类似问题,或者帮我看看我的配置哪里出问题了?
我用的CREATE SOURCE CONNECTOR命令如下:
CREATE SOURCE CONNECTOR logistics_n WITH ( 'connector.class' = 'com.mongodb.kafka.connect.MongoSourceConnector', 'connection.uri' = 'mongodb://mongo-xxxx:xxxx@mongo:27017/?replicaSet=my-replica-set', 'database' = 'logistics', 'collection' = 'orders', 'topic.prefix' = 'json', 'output.format.value' = 'json', 'output.format.key' = 'json', 'key.converter.schemas.enable' = false, 'value.converter.schemas.enable' = false, 'key.converter' = 'org.apache.kafka.connect.json.JsonConverter', 'value.converter' = 'org.apache.kafka.connect.json.JsonConverter', 'pipeline' = '[{$match: {operationType: "insert"}}, {$addFields : {"fullDocument.travel":"MongoDB Kafka Connector"}}]' );
我自己也梳理了几个可能的排查方向,但还没找到根因:
- 首先怀疑是不是Kafka集群的自动创建主题开关没开?我还没去确认
auto.create.topics.enable参数是不是设为true,不过之前用其他连接器是可以自动创建的,应该没问题? - 然后看连接器配置的
topic.prefix是json,理论上生成的主题应该是json.logistics.orders,我去Kafka里查过这个命名的主题,确实没有。 - 还有,连接器的任务状态我还没仔细看,会不会是连接器本身没正常启动,比如MongoDB连接失败或者权限问题,导致数据拉取没触发,自然也不会创建主题?
- 另外我在pipeline里只监听了
insert操作,会不会是当前orders集合没有新的insert操作,所以连接器还没触发主题创建?毕竟之前听人说有些连接器要实际有数据发送才会去创建主题。
有没有大佬能帮我分析下,或者有其他我没考虑到的排查点?麻烦大家了!
内容来源于stack exchange
相关产品推荐
相关产品推荐

