能否配置AWS DMS实例向AWS Kafka指定分区发送数据？

针对你提出的TABLE 1 -> DMS 1 -> Kafka_Topic(partition 0)、TABLE 2 -> DMS 2 -> Kafka_Topic(partition 1)的需求，完全可以实现，具体配置方式如下：

方式1：为每个DMS任务指定固定目标分区 #

这是最直接匹配你需求的方案：

• 创建两个独立的DMS复制任务（对应你提到的DMS 1和DMS 2），分别同步TABLE 1和TABLE 2的数据
• 在配置每个任务的Kafka目标端点时，找到分区配置模块，选择「指定固定分区」选项，然后分别将DMS 1的目标分区设为0，DMS 2的目标分区设为1
• 确保两个任务的目标Kafka Topic名称一致，即可实现不同表的数据投递到同一Topic的指定分区

方式2：通过分区键动态映射（适用于需扩展的场景） #

如果后续需要新增更多表对应不同分区，可采用分区键映射的灵活方案：

• 在DMS任务的目标端点配置中，选择「使用分区键」作为分区策略
• 将分区键设置为表名（或自定义的表标识字段），例如给TABLE 1的任务设置分区键为table_1，TABLE 2的任务设置为table_2
• 在Kafka端配置自定义分区器，根据分区键的值将数据路由到对应分区（如table_1对应分区0，table_2对应分区1）

关键注意事项 #

• 确保DMS任务关联的IAM角色拥有目标Kafka集群的访问权限，包括对应Topic的写入权限
• 若使用AWS MSK（托管Kafka服务），需配置DMS实例所在VPC与MSK集群的网络连通性（如通过对等连接、网关等）
• 配置完成后，可通过Kafka命令行工具（如kafka-console-consumer.sh --topic <你的Topic名> --partition <分区号> --bootstrap-server <集群地址>）验证数据是否正确投递到指定分区

内容的提问来源于stack exchange，提问作者eeeVillain