同VPC下AWS Lambda无法访问EC2上的Elasticsearch求助

环境：Lambda与EC2处于同一VPC、子网，配置相同安全组，未将ES暴露到公网，Lambda调用ES时出现超时错误：

2023-02-06T23:19:54.890Z    fcd62836-4fe3-4c6a-9871-ee70668ba07c    ERROR   StatusCodeError: Request Timeout after 30000ms
    at /var/task/node_modules/elasticsearch/src/lib/transport.js:397:9
    at Timeout.<anonymous> (/var/task/node_modules/elasticsearch/src/lib/transport.js:429:7)
    at listOnTimeout (node:internal/timers:559:17)
    at processTimers (node:internal/timers:502:7) {
  status: undefined,
  displayName: 'RequestTimeout',
  body: undefined

原代码：

const AWS = require('aws-sdk');
const elasticsearch = require('elasticsearch');

exports.handler = async function (event, context, callback) {

  const client = new elasticsearch.Client({
    host: 'public_dns:9200',
    httpAuth: 'user:password'
  });

  let self = this;

  client.search({
    index: 'index_name',
    scroll: '30s',
    size: 10000,
    body: {
      query: {
        match_all: {}
      }
    }
  })
    .then(response => {
      self.responseString = response.hits.hits;
      console.log(response.hits.hits);
    })
    .catch(error => {
      console.error(error);
    });

  const responseData = {
    statusCode: 200,
    body: JSON.stringify({
      message: self.responseString
    })
  };

  callback(null, responseData);
};

1. 网络层基础修正 #

• 替换公网DNS为EC2私有IP：同一VPC内必须使用EC2的私有IP（如172.31.xx.xx:9200），公网DNS会引导请求走公网路由，而Lambda在私有子网内默认无公网访问权限，直接导致超时。
• 检查Elasticsearch绑定地址：编辑ES配置文件elasticsearch.yml，确认network.host设置为0.0.0.0或EC2的私有IP，而非localhost或公网IP——如果绑定到localhost，仅EC2本机可访问，VPC内其他节点（包括Lambda）无法连接。
• 重审安全组规则：
  • 入站规则：确保允许9200端口的流量，来源为当前安全组ID（或VPC的CIDR段），Lambda的弹性网卡（ENI）属于该安全组，需允许同组内的流量访问。
  • 出站规则：确认安全组允许出站到VPC内部的流量（默认允许所有出站的话可跳过）。

2. Lambda配置检查 #

• 确认VPC与子网配置：Lambda必须关联与EC2相同的私有子网，且配置了正确的安全组。同时检查账号的弹性网卡配额，若配额不足，Lambda无法创建ENI，导致网络不通。
• 执行角色权限验证：Lambda执行角色需包含以下权限，否则无法在VPC内创建网络接口：
  • ec2:CreateNetworkInterface
  • ec2:DescribeNetworkInterfaces
  • ec2:DeleteNetworkInterface

3. 代码逻辑修复 #

原代码存在异步调用未等待的问题，Lambda会在ES查询完成前就返回结果，同时掩盖真实错误。改用async/await重构：

const AWS = require('aws-sdk');
const elasticsearch = require('elasticsearch');

exports.handler = async function (event, context) {
  try {
    const client = new elasticsearch.Client({
      host: 'EC2_PRIVATE_IP:9200', // 替换为实际私有IP
      httpAuth: 'user:password',
      requestTimeout: 60000 // 根据数据量调整超时时间
    });

    const response = await client.search({
      index: 'index_name',
      scroll: '30s',
      size: 10000,
      body: {
        query: {
          match_all: {}
        }
      }
    });

    console.log('Fetched data:', response.hits.hits);
    return {
      statusCode: 200,
      body: JSON.stringify({ message: response.hits.hits })
    };
  } catch (error) {
    console.error('ES query failed:', error);
    return {
      statusCode: 500,
      body: JSON.stringify({ error: error.message || 'Failed to access Elasticsearch' })
    };
  }
};

4. 额外验证手段 #

• EC2抓包排查：在EC2上执行tcpdump port 9200，观察是否有来自Lambda ENI的请求到达：
  • 无请求：说明路由或安全组拦截了流量。
  • 有请求无响应：说明ES服务未正确监听或配置错误。
• 同VPC测试连通性：在同一VPC的另一台EC2上执行curl -u user:password http://EC2_PRIVATE_IP:9200，若无法访问，先解决EC2间的连通性问题，再调试Lambda。

内容的提问来源于stack exchange，提问作者George Joseph