使用AWS JS SDK V3调试Lambda的ENOTFOUND连接错误

问题背景 #

VPC内的Lambda函数使用AWS JS SDK V3连接DynamoDB、Secrets Manager等AWS服务时，间歇性出现getaddrinfo ENOTFOUND错误，冷启动时错误频率更高，刷新请求后问题消失。SDK内置重试机制未触发该类错误的重试，已排查CloudWatch日志未找到有效线索，推测为DNS解析问题，需在不迁移到EC2的前提下解决以下问题：

1. 排查该问题的调试技巧；
2. 解决该问题的可行方案；
3. 如何按照AWS官方文档建议增加DNS重试时长。

附错误日志：

{
    "errorType": "Error",
    "errorMessage": "getaddrinfo ENOTFOUND dynamodb.us-east-1.amazonaws.com",
    "code": "ENOTFOUND",
    "errno": -3008,
    "syscall": "getaddrinfo",
    "hostname": "dynamodb.us-east-1.amazonaws.com",
    "$metadata": {
        "attempts": 1,
        "totalRetryDelay": 0
    },
    "stack": [
        "Error: getaddrinfo ENOTFOUND dynamodb.us-east-1.amazonaws.com",
        "    at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:71:26)"
    ]
}

1. 排查问题的调试技巧 #

• 启用VPC流量日志：为Lambda所在的VPC子网开启流量日志，捕获DNS请求的完整生命周期，查看请求是否丢失、超时或解析失败的具体细节，重点分析冷启动时段的日志数据。
• 开启SDK调试日志：给Lambda设置环境变量LOG_LEVEL=debug，或者在初始化SDK客户端时显式配置日志级别，记录DNS解析的全流程，确认SDK是否触发重试、解析请求的耗时等信息。
• 关联冷启动与错误：在Lambda代码中添加冷启动标记（通过process.env.AWS_LAMBDA_INITIALIZATION_TYPE判断是否为冷启动），结合错误日志统计冷启动场景下的错误占比，验证错误与冷启动的关联度。
• 测试VPC配置变量：临时将Lambda切换到同区域的其他子网/安全组（保持权限一致），对比错误频率变化，排查是否为特定VPC网络组件（如子网路由、安全组规则）导致的问题。

2. 解决问题的可行方案 #

• 手动实现DNS错误重试：由于AWS JS SDK V3默认不重试ENOTFOUND这类DNS解析错误，可在代码中捕获该错误，使用重试库（如async-retry）手动实现重试逻辑，针对冷启动场景可适当增加初始延迟，限制重试次数和间隔。
• 配置VPC端点：为DynamoDB、Secrets Manager等服务创建VPC端点，让Lambda通过内网IP直接访问服务，绕过公网DNS解析，从根源降低DNS问题的发生概率。
• 优化Lambda冷启动：启用Provisioned Concurrency预先生成函数实例，减少冷启动次数；提高Lambda的内存配置（更高内存对应更好的网络性能），提升DNS解析的速度和稳定性。
• 替换VPC默认DNS：在VPC中配置Amazon Route 53 Resolver或自定义DNS服务器，替代默认的VPC DNS服务，提升解析的可靠性和响应速度。

3. 增加DNS重试时长的配置方法 #

AWS官方建议通过调整Node.js的DNS解析参数来增加重试时长，具体操作如下：
在Lambda代码的最开头添加以下代码，修改DNS解析的超时和重试次数：

const dns = require('dns');

// 设置优先解析IPv4，避免IPv6解析问题
dns.setDefaultResultOrder('ipv4first');

// 重写dns.lookup方法，自定义超时和重试次数
const originalLookup = dns.lookup;
dns.lookup = function(hostname, options, callback) {
  // 处理参数格式
  if (typeof options === 'function') {
    callback = options;
    options = {};
  }
  // 配置超时时间10秒，重试2次（可根据实际场景调整）
  options.timeout = options.timeout || 10000;
  options.tries = options.tries || 2;
  return originalLookup(hostname, options, callback);
};

该配置会在Lambda每次启动时生效，冷启动场景下也会重新初始化，需根据业务实际情况调整超时和重试次数，避免过度重试导致请求延迟增加。

内容的提问来源于stack exchange，提问作者hikarunoryoma