AWS Lambda文件描述符耗尽致DNS查询失败问题求解

针对Lambda环境下的文件描述符耗尽问题，可从以下几个方面优化：

1. 优化HTTP客户端连接池配置 #

当前http.Transport缺少连接回收的关键参数，导致闲置连接长期占用文件描述符，补充后配置如下：

&RestClient{
    logger:     logger,
    scheme:     "https://",
    apiRootURL: apiRootURL,
    client: http.Client{
        Transport: &http.Transport{
            DialContext: (&net.Dialer{
                Timeout:   30 * time.Second,
                KeepAlive: 30 * time.Second, // 缩短TCP长连接存活时间
            }).DialContext,
            MaxIdleConnsPerHost: 8,
            MaxIdleConns:        16,
            IdleConnTimeout:     60 * time.Second, // 闲置连接超时自动回收
            TLSHandshakeTimeout: 10 * time.Second, // 缩短TLS握手超时
        },
        Timeout: 600 * time.Second,
    },
}

• IdleConnTimeout：强制闲置连接在60秒后关闭，释放占用的文件描述符
• KeepAlive：控制TCP长连接的存活时长，避免无效连接持续占用资源

2. 修正HTTP响应Body的关闭逻辑 #

当前调用逻辑中defer resp.Body.Close()的位置存在隐患，若ioutil.ReadAll出错，可能导致Body未被正确关闭。调整为：

resp, err := r.client.Do(req)
if err != nil {
    // 处理调用错误
    return errorcode
}
defer resp.Body.Close() // 确保resp非nil时立即注册关闭逻辑，覆盖所有分支

body, err := ioutil.ReadAll(resp.Body)
if err != nil {
    // 处理读取错误
    return errorcode
}

if resp.StatusCode != 200 {
    // 处理非200响应逻辑
}

• 必须在确认resp非nil后立即注册defer，确保无论后续逻辑是否出错，Body都会被关闭，释放连接对应的文件描述符

3. 下调数据库连接池参数 #

当前数据库MaxOpenConns设为128，在Lambda环境下会占用较多文件描述符，建议根据实际并发需求下调：

c := sqlutil.DBConfig{
    // 保留其他原有参数
    MaxIdleConns:      8,  // 减少闲置连接数
    MaxOpenConns:      32, // 降低最大打开连接数
    ConnMaxLifetime: 300 * time.Second, // 设置连接生命周期，自动回收旧连接
}

• 减少数据库连接占用的文件描述符，避免与HTTP客户端抢占资源

4. 控制API调用并发数 #

避免一次性发起大量同步调用，改用有限并发的方式控制连接数量，比如使用带缓冲的通道：

// 限制并发数为10，可根据实际情况调整
sem := make(chan struct{}, 10)
for _, req := range requests {
    sem <- struct{}{}
    go func(req *http.Request) {
        defer func() { <-sem }()
        // 执行API调用、响应处理及数据库更新逻辑
    }(req)
}
// 等待所有goroutine执行完成
for i := 0; i < cap(sem); i++ {
    sem <- struct{}{}
}

• 控制并发数在合理范围，避免短时间内创建大量连接耗尽文件描述符

5. 调整Lambda资源配置 #

Lambda的文件描述符上限与内存配置正相关：内存越高，可用文件描述符越多（例如1GB内存可获得10240个文件描述符）。若业务允许，可适当提高内存配置：

variable "memory_size" {
  default = 512 // 从128MB调整为512MB，提升文件描述符上限
}

内容的提问来源于stack exchange，提问作者Shreyas Wade