如何使用Kafka Connect对接云流服务实现数据发送至ElasticSearch

三类云流服务适配情况 #

• AWS MSK：本身就是AWS托管的开源Apache Kafka服务，100%兼容原生Kafka协议，对Kafka Connect的支持没有任何额外限制。你既可以自行搭建独立的Kafka Connect集群对接MSK，也可以直接使用AWS托管的MSK Connect服务，都能直接加载开源的ElasticSearch Sink连接器完成数据同步，不存在适配问题，官方已经做过全场景验证。
• Azure Event Hubs：它的Kafka兼容层已经覆盖了Kafka Connect的核心功能，对接开源ElasticSearch Sink连接器时，只需要把Kafka Connect配置里的bootstrap地址替换为Event Hubs的Kafka端点，认证方式配置为SASL_SSL+Event Hubs连接字符串即可正常使用。除了少数和Kafka底层特性强绑定的高级配置不支持外，普通的数据流同步场景完全可以满足需求。
• AWS Kinesis：本身没有原生的Kafka协议兼容能力，无法直接对接原生Kafka Connect。如果要走Kafka Connect链路同步Kinesis的数据到ES，需要额外部署Kinesis Source连接器先把数据同步到Kafka集群，再走ES Sink同步，不符合你不新增额外组件的要求，非必要不建议优先选择。

落地注意事项 #

你不需要依赖Confluent平台就能实现需求，开源Apache Kafka Connect本身支持独立部署，直接把社区开源的ElasticSearch Sink连接器包放到Connect的插件目录，完成对应配置即可使用，不需要用到任何Confluent的专属组件或者付费服务，完全符合你当前的技术选型要求。

内容的提问来源于stack exchange，提问作者Ryan.Bartsch