如何在Go语言中实现最多3个并发数限制的文件下载？

你当前的代码是按顺序逐个下载XML文件，要实现并发且限制最多3个并发，最常用的方式是用带缓冲的通道作为信号量来控制并发数，结合goroutine实现。

实现代码示例 #

package main

import (
    "sync"
    // 导入你需要的其他依赖包，比如net/http等
)

func getXML(url string) ([]byte, error) {
    // 你的XML下载逻辑实现
}

func main() {
    // 假设urlSet是已定义的包含URLs的结构体
    // 1. 创建缓冲大小为3的通道，作为并发控制的信号量
    sem := make(chan struct{}, 3)
    // 2. 用WaitGroup等待所有goroutine执行完成
    var wg sync.WaitGroup

    for _, url := range urlSet.URLs {
        wg.Add(1)
        // 占用一个并发槽位，满3个时会阻塞，直到有槽位释放
        sem <- struct{}{}
        
        go func(u string) {
            defer func() {
                wg.Done()
                // 释放并发槽位，让新的goroutine可以启动
                <-sem
            }()
            
            bytes, err := getXML(u)
            // 这里处理下载后的结果与错误，比如保存文件、记录日志等
            if err != nil {
                // 错误处理逻辑，比如打印日志
                return
            }
            // 处理成功获取的bytes数据
        }(url.Loc) // 传入当前循环的URL值，避免闭包引用循环变量的问题
    }

    // 等待所有goroutine执行完毕
    wg.Wait()
    // 关闭信号量通道（可选，所有goroutine完成后通道不再使用）
    close(sem)
}

关键逻辑说明 #

• 信号量通道：sem := make(chan struct{}, 3) 创建了一个最多容纳3个空结构体的缓冲通道，每个空结构体代表一个可用的并发执行槽位。
• 并发控制：启动goroutine前执行sem <- struct{}{}，若通道已满（已有3个并发在运行），该行会阻塞，直到有goroutine执行完成并通过<-sem释放槽位。
• 闭包传值：goroutine的参数u string必须传入当前循环的url.Loc，否则所有goroutine会共享循环变量的引用，导致最终都使用同一个URL。
• WaitGroup：sync.WaitGroup用于等待所有goroutine执行完毕，避免主函数提前退出导致未完成的下载被中断。

额外提示 #

如果需要统一收集所有下载结果或错误，可以新增一个结果通道，在goroutine中将结果（包含数据和错误）发送到该通道，主函数在wg.Wait()后遍历结果通道做统一处理。

内容的提问来源于stack exchange，提问作者Blankman