跨账号场景下无法使用AWS Lambda消费MSK集群消息

方案1：Lambda自定义轮询消费（基于现有VPC Link） #

依托已配置的VPC Link，将Lambda部署在开发账号的VPC内，自行实现消息拉取逻辑：

• 网络配置：确保Lambda所在子网可通过VPC Link访问MSK集群的broker地址，为Lambda绑定允许9094端口MTLS流量的安全组。
• MTLS认证处理：将MSK的CA证书、客户端证书/密钥存入开发账号的Secrets Manager，给Lambda添加读取该Secret的IAM权限；在Lambda代码中加载证书，初始化支持MTLS的Kafka客户端。
• 轮询与消息处理：通过CloudWatch Events定时触发Lambda（如每分钟一次），或维持长连接实现持续拉取；代码中需处理Kafka偏移量提交（可将偏移量存储在DynamoDB中避免重复消费）。

方案2：中间消息队列中转 #

在MSK所属账号部署轻量转发服务，将MSK消息同步至开发账号的SQS，再用Lambda原生事件源消费：

• MSK账号侧操作：部署EC2/Fargate容器作为MSK消费者（复用现有MTLS配置），将消息转发至开发账号的SQS；为转发服务添加向目标SQS发消息的IAM权限，同时在开发账号SQS上配置跨账号访问策略，允许MSK账号的服务角色写入消息。
• 开发账号侧操作：为Lambda配置SQS事件源，直接消费队列消息；此方案无需自行处理轮询和偏移量，复用Lambda对SQS的原生支持。

方案3：利用EventBridge Pipes连接跨账号MSK与Lambda #

EventBridge Pipes支持跨账号MSK作为数据源，可直接将消息转发至Lambda：

• 权限配置：在MSK账号中，为Pipes执行角色添加MSK集群的kafka:DescribeCluster、kafka:GetBootstrapBrokers、kafka:ReadData权限；在开发账号中，给Lambda配置资源策略，允许MSK账号的Pipes角色触发执行。
• Pipes实例配置：创建EventBridge Pipe，源选择跨账号MSK集群（填写ARN），目标选择开发账号的Lambda；配置Pipes的VPC访问（确保通过VPC Link连通MSK），并指定存储在Secrets Manager中的MTLS证书。

注意：所有方案需确保跨账号IAM权限双向配置正确，尤其是MTLS证书访问、资源访问策略的授权逻辑。

内容的提问来源于stack exchange，提问作者Raghavendra Anjana