如何从Kafka Topic读取复杂JSON并插入MySQL多张表？

方案对比及选型建议 #

你提到的两种实现路径都是可行的，可根据你实际JSON的复杂度、后续维护需求选择：

1. 直接用Kafka Connect实现的适用场景

如果你的JSON结构嵌套层级浅、拆分逻辑固定不频繁变动，可以通过Kafka Connect JDBC Sink Connector + 转换逻辑实现：

• 简单映射可直接使用自带的Flatten、ExtractField等单消息转换（SMT）完成字段提取、结构扁平化
• 涉及数组拆分行、多表映射的逻辑可以通过自定义SMT实现，无需额外部署流处理服务
• 劣势：复杂嵌套、多规则转换的场景下，SMT配置会非常繁琐，自定义SMT的调试、迭代成本远高于普通业务代码，出问题排查难度大

2. Kafka Stream预处理 + Kafka Connect落地的适用场景

如果实际JSON结构非常复杂，优先选该方案：

• 你可以用Kafka Stream编写转换逻辑，把原始Topic的嵌套JSON拆解为多个独立的新Topic，分别对应MySQL的主表、子表数据结构，比如一个Topic存外层的主数据，另一个Topic存展开后的items明细数据
• 拆解完成后，分别给每个新Topic配置对应的JDBC Sink Connector，直接做字段映射写入对应表即可
• 优势：转换逻辑用常规代码实现，灵活度高，复杂规则、后续需求迭代都更好维护，拆分后的中间Topic还可以给其他下游业务复用，整体架构更清晰

最终建议 #

你已经明确提到实际Topic中的JSON结构比示例复杂很多，更推荐用Kafka Stream做预处理的方案，投入的开发成本远低于后期维护复杂Connect配置的成本，线上稳定性也更可控。

内容的提问来源于stack exchange，提问作者Anderson Jimenez