如何用Debezium将MySQL事件流式传输到Redis？配置报错求助

一、MySQL连接器搭配Redis作为sink是否可行？ #

完全可行。Debezium官方提供Redis sink连接器，支持将MySQL的增量变更事件（INSERT/UPDATE/DELETE）同步到Redis，可配置不同消息格式和存储结构（如哈希、字符串等），满足常规ETL同步需求。

二、Kafka相关配置报错的解决方法 #

报错的schema.history.internal.kafka.topic和schema.history.internal.kafka.bootstrap.servers是Debezium MySQL源连接器的必填配置——即使使用Redis作为sink，依然需要配置这两项。因为Debezium依赖Kafka存储MySQL表结构的变更历史，以此保证增量同步的一致性。

具体配置修改： #

• 新增schema.history.internal.kafka.bootstrap.servers：填写你的Kafka集群地址（根据实际部署调整）
• 新增schema.history.internal.kafka.topic：指定专属的schema历史存储topic名称（无需提前创建，Debezium会自动生成）

完整配置示例： #

# MySQL源连接器基础配置（需补充你的MySQL连接信息）
database.hostname=mysql
database.port=3306
database.user=debezium
database.password=dbz
database.server.id=184054
database.server.name=mysql-source
database.include.list=your_target_db
database.history.kafka.bootstrap.servers=kafka:9092
database.history.kafka.topic=mysql-source-db-history

# Redis sink连接器配置
debezium.sink.type=redis
debezium.sink.redis.batch.size=500
debezium.sink.redis.address=redis:6379
debezium.sink.redis.message.format=compact

# Schema历史存储必填配置
schema.history.internal.kafka.bootstrap.servers=kafka:9092
schema.history.internal.kafka.topic=mysql-schema-history

注意事项： #

1. 确保Kafka集群正常运行，且Debezium服务能访问Kafka地址
2. 若Kafka禁用自动创建topic，需提前手动创建指定的schema历史topic
3. 不要遗漏MySQL源连接器的其他基础配置（如数据库连接信息、表白名单等）

内容的提问来源于stack exchange，提问作者Algorithm Unlock