使用go-getter v2下载大文件遇context deadline exceeded问题求助

你遇到的context deadline exceeded错误，核心原因是当前context的时长无法支撑大文件的下载与解压流程。以下是正确的context使用方式及优化方案：

1. 为context设置合理的超时时间 #

context.Background()本身无超时限制，但大文件下载耗时久，容易被系统或上游服务的隐性超时机制中断。你需要根据文件大小预估合理时长，为context添加显式超时控制：

package main

import (
    "context"
    "log"
    "net/http"
    "time"

    getter "github.com/hashicorp/go-getter/v2"
)

// 假设defaultProgressBar已按官方实现正确定义
func defaultProgressBar(req *getter.Request, current, total uint64) {
    // 你的进度条逻辑实现
}

func main() {
    // 根据文件大小设置超时，示例为30分钟
    ctx, cancel := context.WithTimeout(context.Background(), 30*time.Minute)
    defer cancel() // 确保函数退出时释放context资源，避免泄漏

    req := &getter.Request{
        Src:              "https://huge-file.zip",
        Dst:              "data/",
        Pwd:              "./",
        GetMode:          getter.ModeAny,
        ProgressListener: defaultProgressBar,
    }

    // 自定义HTTP客户端，避免默认超时限制
    httpClient := &http.Client{
        Timeout: 0, // 禁用HTTP客户端层级的超时，统一交由context控制
    }

    client := getter.Client{
        HTTP: httpClient,
    }
    _, err := client.Get(ctx, req)

    if err != nil {
        log.Fatal(err)
    }
}

2. 优化HTTP客户端配置（针对超大文件） #

如果文件体积极大，可进一步调整HTTP传输参数，提升下载稳定性：

httpClient := &http.Client{
    Timeout: 0,
    Transport: &http.Transport{
        MaxIdleConns:        10,
        IdleConnTimeout:     30 * time.Second,
        TLSHandshakeTimeout: 10 * time.Second,
        DisableCompression:  false, // 启用压缩减少传输量
    },
}

关键注意事项 #

• 超时时长需结合文件大小、网络带宽灵活调整，避免过短触发超时，过长浪费资源。
• defer cancel()必须调用，防止context资源泄漏。
• 若使用getter.DefaultClient，其内部HTTP客户端可能存在默认超时，需通过自定义客户端覆盖该配置。

内容的提问来源于stack exchange，提问作者George Livanoss