从Docker版Kafka Connect迁移至AWS MSK Connect的配置疑问

结论先行 #

CONNECT_GROUP_ID、CONNECT_CONFIG_STORAGE_TOPIC这类属于Kafka Connect Worker全局配置，在MSK Connect里要放到Worker配置中，不是单个连接器的配置里。

为什么这么分？ #

• 你本地Docker里的CONNECT_*环境变量，本来就是控制整个Connect Worker集群的全局参数，所有连接器都会共用这些设置。放到MSK Connect的Worker配置里，作用和本地完全一致——管控整个托管Worker集群的基础运行逻辑。
• 单个连接器的配置（比如你的GCS Sink JSON）只需要填和这个Sink相关的参数：比如GCS桶名、认证方式、数据序列化格式这些，Worker级的全局配置别往里塞。

具体配置方法 #

在创建/更新MSK Connect集群时，找到“Worker配置”模块，把这些参数去掉CONNECT_前缀填进去：

• 原CONNECT_GROUP_ID → group.id
• 原CONNECT_CONFIG_STORAGE_TOPIC → config.storage.topic
• 同理，CONNECT_OFFSET_STORAGE_TOPIC→offset.storage.topic、CONNECT_STATUS_STORAGE_TOPIC→status.storage.topic，都这么处理。

另外提醒下：这些存储主题（config、offset、status）最好提前在你的MSK集群里手动创建，设置合适的分区数和副本数，避免MSK Connect因权限不足创建失败。

内容的提问来源于stack exchange，提问作者Sultan of Swing