Apache Kafka集群是否支持对接S3存储？新集群搭建技术问询

首先明确：Apache Kafka原生版本（包括你当前使用的2.8及所有后续官方版本）都不支持直接将S3作为集群的核心数据存储介质。原因是Kafka的核心设计依赖本地磁盘的低随机读写性能，来保障消息生产、消费的低延迟和高吞吐能力；而S3作为对象存储，更适合高容量的离线存储，无法满足Kafka对实时读写的性能要求。

针对你要搭建全新集群、对接S3的需求，提供以下可行方案：

• 通过Kafka Connect实现S3集成
  这是生产环境中最常用的方案，无需修改Kafka集群本身。你可以使用S3源连接器将S3中的数据导入Kafka集群，同时用S3 sink连接器将Kafka中的消息导出到S3做长期持久化存储。这种方式保留了Kafka本地磁盘处理实时读写的能力，同时利用S3实现大容量的离线存储，完全匹配你的需求。

• 使用云托管Kafka服务的原生S3集成
  像AWS的Managed Streaming for Kafka（MSK）这类托管服务，已经内置了将Kafka数据自动备份到S3的能力，部分其他云厂商的托管Kafka服务也有类似功能。选择这种方案可以省去自行维护连接器的成本，快速搭建满足需求的集群。

• 基于开源扩展方案定制
  社区中有一些开源项目对Kafka做了扩展，使其能够对接S3这类对象存储。不过这类方案通常需要额外的开发或维护工作，在生产环境落地前需要充分进行性能和稳定性测试。

内容的提问来源于stack exchange，提问作者Judy