无需Zookeeper依赖：基于Kafka实现数仓数据导入MySQL的可行性咨询

完全可以实现你的需求，具体实现路径如下：

1. 部署无Zookeeper依赖的Kafka集群 #

Kafka从2.8版本起正式支持KRaft模式，该模式彻底移除了对Zookeeper的依赖，通过Kafka自身的元数据管理机制维护集群状态。部署时只需在配置中启用KRaft，生成集群ID并启动broker即可，无需再部署Zookeeper节点。

2. 数据仓库到Kafka的Avro格式同步 #

使用Kafka Connect的源连接器完成数据仓库到Kafka的数据导入：

• 选择对应数据仓库的官方或第三方Connect源插件（比如针对Snowflake、Redshift、BigQuery等都有成熟的连接器）；
• 配置连接器时，指定key.converter和value.converter为io.confluent.connect.avro.AvroConverter，同时配置Schema Registry的地址（Schema Registry也支持适配KRaft模式，无需依赖Zookeeper）；
• 根据需求设置同步策略（全量同步、增量CDC同步等），确保数据以Avro格式写入指定Kafka主题。

3. Avro数据写入MySQL #

通过Kafka Connect的JDBC Sink连接器完成Avro到MySQL的存储：

• 配置JDBC Sink连接器，指定MySQL的连接URL、用户名、密码；
• 保持key.converter和value.converter为Avro转换器，关联同一个Schema Registry，用于解析Kafka中的Avro数据；
• 配置目标表映射规则（比如自动创建表、字段映射、主键设置等），连接器会自动将解析后的Avro数据写入对应的MySQL表中。

关键注意事项 #

• 确保使用的Kafka、Kafka Connect、Schema Registry版本均支持KRaft模式（建议使用2.8及以上版本，推荐最新稳定版）；
• 针对不同数据仓库的源连接器，需根据官方文档配置对应的认证、同步参数；
• MySQL表结构需要与Avro schema匹配，可通过连接器的自动建表功能简化配置，或提前手动创建符合结构的表。

内容的提问来源于stack exchange，提问作者dawat1234