Debezium MySQL连接器无法捕获MariaDB数据变更求助排查

一、Topic前缀不生效的原因 #

Debezium MySQL/MariaDB连接器不支持topic.prefix配置项，该参数是PostgreSQL等其他连接器的专属配置。MySQL连接器的Topic前缀由database.server.name参数决定，默认Topic命名格式为：{database.server.name}.{database_name}.{table_name}。

你当前配置里的database.server.name设为test1，所以生成的Topic会是test1.testDB.xxx，而非带有debezium_mariadb_前缀的名称。如果需要自定义前缀，直接修改database.server.name为debezium_mariadb_即可，示例配置片段：

"database.server.name": "debezium_mariadb_"

二、数据变更无法捕获的排查步骤 #

1. 检查MariaDB的Binlog配置 #

MariaDB必须开启Binlog且格式为ROW模式，这是Debezium捕获数据变更的基础：

• 查看Binlog状态：登录MariaDB执行SHOW VARIABLES LIKE 'log_bin';，确保值为ON
• 查看Binlog格式：执行SHOW VARIABLES LIKE 'binlog_format';，确保值为ROW
• 确认server-id配置：执行SHOW VARIABLES LIKE 'server_id';，值必须为非0整数，且与连接器配置的database.server.id不重复

2. 验证数据库用户权限 #

连接器使用的user1必须具备以下权限：

GRANT RELOAD, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'user1'@'%';
GRANT SELECT ON testDB.* TO 'user1'@'%';
FLUSH PRIVILEGES;

3. 检查连接器运行状态 #

通过REST API查看连接器的状态，确认任务是否正常运行：

curl http://localhost:8083/connectors/MARIA/status

如果状态显示FAILED，查看返回的错误信息定位问题（比如权限不足、Binlog配置错误等）。

4. 确认Schema History Topic状态 #

检查schema-changes.testDB Topic是否存在，且连接器能正常写入：

• 用Kafka命令行工具查看Topic列表：

kafka-topics.sh --list --bootstrap-server localhost:9092

• 查看Topic中的消息：

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic schema-changes.testDB --from-beginning

如果Topic不存在或无消息，说明连接器无法初始化Schema历史，需检查Kafka连接配置（schema.history.internal.kafka.bootstrap.servers）是否正确，以及连接器是否有Kafka的写入权限。

5. 检查目标表的主键配置 #

Debezium MySQL连接器对无主键的表支持有限，默认情况下可能无法捕获变更。确认testDB中的表是否都设置了主键，若没有主键，需添加主键，或在连接器配置中补充相关兼容参数（不推荐依赖无主键表的变更捕获）。

6. 查看连接器日志 #

查看Kafka Connect的日志文件，搜索MARIA连接器相关的报错信息，日志通常位于Kafka Connect安装目录的logs文件夹，或通过容器日志查看（若用Docker部署）。

内容的提问来源于stack exchange，提问作者bootyfisah79