Kafka Connect+Debezium连接Azure Postgres时wal2json插件报错问题
你遇到的错误是因为Debezium PostgreSQL连接器的配置校验逻辑不认可wal2json这个值,核心原因和解决方向如下:
连接器版本不匹配
你参考的Debezium文档提到支持wal2json系列插件,但如果实际使用的是0.10.x及更早版本的Debezium PostgreSQL连接器,这些旧版本仅支持decoderbufs和pgoutput两种插件。请升级到Debezium1.0及以上版本,新版本才正式添加了对wal2json、wal2json_streaming等插件的支持。托管环境的特殊插件标识
Azure PostgreSQL灵活服务器属于托管数据库,部分Debezium版本针对这类托管环境适配了特殊的插件标识。如果升级连接器后仍报错,可以尝试将plugin.name设置为wal2json_rds(尽管名称带"rds",但部分非AWS的托管PostgreSQL环境也兼容该配置)。连接器包完整性问题
确保你部署到Kafka Connect插件目录的Debezium PostgreSQL连接器包是完整的官方版本。部分精简或自定义构建的连接器包可能移除了对wal2json系列插件的支持,导致配置校验时无法识别该值。建议下载官方完整的连接器归档包,重新部署后重启Kafka Connect。
补充说明:Debezium的plugin.name配置校验是在连接器端独立完成的,不会主动读取数据库已安装的插件列表,因此即使数据库支持wal2json,只要连接器本身未包含对应支持逻辑,就会触发该错误。
内容的提问来源于stack exchange,提问作者Hans

