如何在使用Go上传大文件至Azure Blob时限制带宽？

1. Go中实现带宽限制的可行方法 #

当然有，最通用的思路是通过包装IO流控制数据读取/写入速率，间接限制带宽占用。常见实现基于令牌桶算法，自定义一个限速io.Reader：

import (
    "io"
    "time"
)

type ThrottledReader struct {
    source   io.Reader
    rate     int       // 限制速率，单位：字节/秒
    tokenBuf int       // 当前可用令牌（字节数）
    ticker   *time.Ticker
}

func NewThrottledReader(src io.Reader, rate int) *ThrottledReader {
    return &ThrottledReader{
        source: src,
        rate:   rate,
        ticker: time.NewTicker(time.Second),
    }
}

func (tr *ThrottledReader) Read(p []byte) (int, error) {
    // 每秒补充一次令牌
    select {
    case <-tr.ticker.C:
        tr.tokenBuf = tr.rate
    default:
    }

    // 令牌不足时等待补充
    if tr.tokenBuf <= 0 {
        <-tr.ticker.C
        tr.tokenBuf = tr.rate
    }

    // 计算本次最大读取量
    maxRead := min(len(p), tr.tokenBuf)
    n, err := tr.source.Read(p[:maxRead])
    tr.tokenBuf -= n
    return n, err
}

func min(a, b int) int {
    if a < b {
        return a
    }
    return b
}

使用时将文件流包装为ThrottledReader再传给上传接口即可限制速率。同时可结合协程数量控制（比如用带缓冲通道限制并发上传数），进一步避免带宽被占满。

2. azblob包的带宽限制方案 #

azblob SDK本身没有直接的带宽限制配置，但可以通过自定义HTTP传输层实现。因为azblob客户端基于标准http.Client，给其Transport添加限速逻辑即可：

import (
    "net/http"
    "github.com/Azure/azure-sdk-for-go/sdk/storage/azblob"
    "github.com/Azure/azure-sdk-for-go/sdk/azcore"
    "io/ioutil"
)

type ThrottledTransport struct {
    inner   http.RoundTripper
    maxRate int // 字节/秒
}

func (t *ThrottledTransport) RoundTrip(req *http.Request) (*http.Response, error) {
    // 对请求体进行限速包装
    if req.Body != nil {
        req.Body = ioutil.NopCloser(NewThrottledReader(req.Body, t.maxRate))
    }
    return t.inner.RoundTrip(req)
}

// 创建带限速的azblob客户端
func NewThrottledAzBlobClient(accountURL string, cred azcore.TokenCredential, maxRate int) (*azblob.Client, error) {
    transport := &ThrottledTransport{
        inner:   http.DefaultTransport,
        maxRate: maxRate,
    }
    opts := azblob.ClientOptions{
        ClientOptions: azcore.ClientOptions{
            Transport: transport,
        },
    }
    return azblob.NewClient(accountURL, cred, &opts)
}

该方法会对azblob所有请求（包括分块上传的每个块）限速，控制整体带宽。也可直接将文件流包装为ThrottledReader后传给UploadFile/UploadStream方法，效果一致。

3. 跨云平台的通用带宽限制方案 #

不需要针对每个云平台单独处理，Go有两种通用方案：

• 包装数据源Reader：不管用AWS S3、GCP Cloud Storage还是其他云SDK，读取本地文件时使用前面的ThrottledReader，再将该Reader传给云SDK的上传接口即可统一限速。比如AWS的s3manager.Upload、GCP的storage.Writer都接受io.Reader输入，可直接复用限速逻辑。
• 统一修改HTTP传输层：几乎所有云SDK都基于标准http.Client，给http.Client配置ThrottledTransport后，该客户端发起的所有请求都会被限速。切换云平台时，只需将带限速的http.Client传给对应SDK的客户端配置即可，无需修改限速逻辑。

这两种方案均可实现跨云通用带宽控制，无需为每个平台重写代码。

内容的提问来源于stack exchange，提问作者rangarajan