MongoDB Kafka Connector 如何实现多集合变更数据捕获
问题根源
你碰到的报错根本不是管道写错了,是MongoDB 3.6的变更流能力有硬限制:
3.6是刚推出变更流能力的第一个版本,这个版本的变更流只允许绑定具体的单个集合发起请求,服务端完全不支持库范围、集群范围的变更流查询。你把collection配成空值之后,连接器会去拉整个test库的变更流,这个请求直接被服务端拒了,才会跳出那个「变更流聚合需要指定集合」的报错。
你之前想用的「空集合 + 管道里匹配ns.coll正则筛多集合」的写法,是MongoDB 4.0才加上的库级变更流能力,在3.6的环境里不管你管道怎么调,都跑不通——因为服务端根本没开这个能力的口子。
两种可落地的解决办法
- 不升级MongoDB版本的适配方案:给每个要监听的集合单独跑一个连接器实例
就用你之前验证过能正常跑通的单集合配置就行:比如要监听collection1、collection2,就起两个连接器进程:- 第一个连接器配置
database=test、collection=collection1,管道用你之前好使的那个操作类型过滤规则 - 第二个连接器配置
database=test、collection=collection2,配一样的管道规则
两个实例用不同的name、不同的topic.prefix区分输出的Topic就行,不会串数据。
- 第一个连接器配置
- 想单连接器同时拉多个集合的方案:把MongoDB升级到4.0及以上
从4.0版本开始,服务端才放开库级粒度的变更流权限,这时候你把collection留空,管道里用ns.coll正则筛要监听的集合才会生效。3.6及更早的版本,哪怕你管道写得再对,只要没指定具体集合,发起的库级变更流请求一定会被服务端拦截。
额外提醒:你现在管道里直接写JS格式的正则
/^(collection1|collection2)$/是没法被properties文件里的JSON正常解析的,等你后续升级到支持库级变更流的版本、要用到这个正则规则的时候,得把正则换成字符串形式,比如写成{"$regex": "^(collection1|collection2)$"},不然会报配置解析错误。
内容的提问来源于stack exchange,提问作者PaCi
相关产品推荐
相关产品推荐

