求助：AWS Lambda连接第三方托管Kafka失败，配置排查无果

以下是针对你遇到的问题的具体排查步骤：

• 检查Lambda安全组的出站规则
  即使同VPC的EC2能正常连接，Lambda的安全组可能未开放Kafka服务的对应端口（通常是9092或SSL端口9093）。确认安全组出站规则允许访问第三方Kafka集群的IP/端口范围，也可临时设置允许所有出站流量进行测试。

• 验证Kafka监听器的地址配置
  部分第三方Kafka集群会返回内网Broker地址，但Lambda无法解析或访问这些内网地址。你可以在同VPC的EC2上执行以下命令，查看返回的Broker地址是否为公网可访问的：

  kafka-topics.sh --list --bootstrap-server <你的Kafka集群地址>
  

  如果返回的是内网地址，需要联系第三方服务商调整Kafka的监听器配置，使其返回公网可访问的地址。

• 核对VPC子网的路由表配置

  • 若使用NAT Gateway：确认Lambda所在子网的路由表中，0.0.0.0/0的下一跳指向NAT Gateway，且NAT Gateway所在子网的路由表包含指向Internet Gateway的条目。
  • 若直接使用Internet Gateway：确认Lambda所在子网为公有子网（路由表中存在0.0.0.0/0指向Internet Gateway的规则），且Lambda能自动分配到公网IP。

• 测试Lambda的网络连通性
  在Lambda中添加测试代码，验证对Kafka集群的域名解析和端口连通性：

  import socket
  def lambda_handler(event, context):
      try:
          sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
          sock.settimeout(5)
          # 替换为你的Kafka地址和端口
          result = sock.connect_ex(("kafka.example.com", 9092))
          if result == 0:
              return {"status": "成功连接端口"}
          else:
              return {"status": "连接失败", "错误码": result}
      except Exception as e:
          return {"status": "异常", "信息": str(e)}
  

  执行该测试函数，根据返回结果判断是域名解析失败还是端口无法连通。

• 检查第三方Kafka的IP白名单
  第三方Kafka可能设置了IP访问白名单，EC2的公网IP可能已在白名单内，但Lambda的公网IP是动态的（公有子网场景）或使用NAT Gateway的IP（私有子网场景）。需要将NAT Gateway的IP，或Lambda弹性网卡的静态IP（若已配置）添加到第三方Kafka的白名单中。

• 确认Lambda执行角色的权限
  确保Lambda的执行角色拥有以下必要权限：

  • ec2:CreateNetworkInterface
  • ec2:DescribeNetworkInterfaces
  • ec2:DeleteNetworkInterface
    缺少这些权限会导致Lambda无法创建VPC内的弹性网卡，进而无法访问外部网络。

内容的提问来源于stack exchange，提问作者gongul