AWS MSK存储技术咨询：Broker异构存储、缩容方法及风险

1. AWS MSK集群中是否可配置存储容量不同的Broker节点？ #

不行。AWS MSK要求同一集群内所有Broker节点的存储配置必须完全一致，包括EBS卷的类型和容量。不管是集群创建阶段还是后续调整存储时，都无法为单个Broker设置不同的存储容量，集群级别的存储变更会应用到所有节点。

2. AWS MSK Broker存储容量缩容的最佳实施方法？ #

AWS MSK不支持直接缩容Broker的存储容量，最佳方案是通过集群迁移实现：

• 规划新集群：创建一个符合目标存储容量的新MSK集群，确保Kafka版本、实例类型、副本数、分区数等核心参数与旧集群兼容或匹配
• 部署数据同步：使用Kafka MirrorMaker 2.0搭建新旧集群的同步管道，配置主题同步规则，同时同步消费者偏移量
• 灰度切换流量：先将部分生产者和消费者切换到新集群，验证业务运行稳定后，再逐步全量切换
• 验证数据完整性：检查所有主题的消息数、偏移量是否在新旧集群间一致，确认无数据丢失
• 清理旧集群：待业务完全迁移至新集群且运行稳定后，删除旧集群以释放资源

3. 缩容AWS MSK Broker存储容量存在哪些风险？ #

由于只能通过集群迁移实现缩容，主要风险集中在迁移过程中：

• 数据丢失：若MirrorMaker同步规则配置错误，或迁移过程中出现中断，可能导致部分主题数据未同步
• 业务中断：流量切换时若未做灰度验证，或新集群参数配置不当，可能引发生产者/消费者连接失败、消息发送失败等问题
• 偏移量不一致：消费者偏移量同步失败会导致重复消费或漏消费，影响业务逻辑正确性
• 临时成本增加：迁移期间新旧集群同时运行，会产生双倍的集群资源费用
• 配置不兼容：新集群的Kafka版本、安全配置等与旧集群不匹配，可能引发兼容性问题

内容的提问来源于stack exchange，提问作者ramesh