跨AWS账户配置Lambda对接另一账户MSK集群Kafka触发器连接失败

核心排查&修复步骤 #

1. Lambda VPC部署配置
   你当前Lambda未部署到自身账户和MSK集群对等的VPC内时，Lambda默认运行在AWS托管的公共VPC环境，无法通过VPC Peering链路访问对端账户的MSK私有子网资源。需在Lambda配置页的「VPC」板块，绑定和MSK对等的自有VPC、对应私有子网、安全组，完成后Lambda会通过该VPC的网络链路访问MSK。
2. VPC Peering DNS配置验证
   需同时在两个账户的VPC Peering连接配置中，开启「允许接受端VPC解析发起端VPC的DNS记录」和「允许发起端VPC解析接受端VPC的DNS记录」两个选项。验证方式：在你自有VPC的EC2上执行nslookup <MSK 9096端口bootstrap地址>，确认返回的是MSK集群的私网IP，而非公网IP。
3. Lambda执行角色权限补全
   给Lambda的执行角色附加如下权限，允许其读取你在本账户Secret Manager中存储的SASL认证凭证：

{
    "Effect": "Allow",
    "Action": "secretsmanager:GetSecretValue",
    "Resource": "<你存储SASL凭证的Secret ARN>"
}

4. MSK侧SCRAM用户权限配置
   MSK默认开启ACL访问控制，仅完成SCRAM认证的用户没有默认Topic访问权限。需在MSK所属账户的任意可访问集群的机器上，通过Kafka官方ACL工具为你配置的SCRAM用户授权：

# 替换占位符为实际值后执行
kafka-acls.sh --authorizer-properties zookeeper.connect=<MSK ZK连接地址> \
--add --allow-principal User:<你的SCRAM用户名> \
--operation Read --operation Describe --topic <触发用的Kafka Topic名>
# 同时授权消费组权限
kafka-acls.sh --authorizer-properties zookeeper.connect=<MSK ZK连接地址> \
--add --allow-principal User:<你的SCRAM用户名> \
--operation Read --group '*'

5. 端到端连通性+认证验证
   在你自有VPC的EC2上安装Kafka客户端，编写SCRAM认证配置文件client.properties：

security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-512 # 替换为你MSK侧开启的SCRAM版本
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="<你的用户名>" password="<你的密码>";

执行消费命令验证连通+认证+权限是否正常：

kafka-console-consumer.sh --bootstrap-server <MSK 9096端口bootstrap地址> \
--topic <触发用Topic名> --from-beginning --consumer.config client.properties

如果该命令可以正常拉取到Topic数据，说明链路、认证、权限均无问题，再重试Lambda触发器配置即可。
6. 安全组规则二次确认
确认MSK集群所属账户的MSK安全组入站规则，允许你自有账户VPC的CIDR段访问9096端口，避免测试全通规则未实际生效。

内容的提问来源于stack exchange，提问作者Simon