Go语言goroutine中使用io.Copy计算文件MD5时出现锁死问题

• 无限制启动goroutine引发网络共享IO过载：本地SSD的随机并发读能力通常可以支持数百级别的并行请求，而SMB、NFS等网络文件共享服务本身的并发处理上限极低，当candidates数量较多时，同时发起大量读请求会直接占满共享服务的连接数、IO队列，导致所有IO请求阻塞卡死，这是问题的核心原因。
• WaitGroup的使用本身没有问题，不管是直接捕获外部变量还是作为指针传参，只要保证wg.Add在启动goroutine之前执行，就不会出现WaitGroup相关的锁死，你之前的修改没有命中核心问题。
• 错误处理逻辑不合理：直接在goroutine内使用panic会导致程序直接退出，即使有defer wg.Done不会导致WaitGroup锁死，但完全没有容错能力。

核心是新增并发限流机制，控制同时读取文件的goroutine数量，避免打满网络共享的服务能力，修正后代码如下：

package main

import (
	"crypto/md5"
	"encoding/hex"
	"io"
	"os"
	"sync"
)

// 并发数可调整，网络共享建议初始设置为3~10，根据实际共享性能测试调优
const maxConcurrency = 5

func main() {
	var wg sync.WaitGroup
	// 用带缓冲通道实现并发限流
	limitCh := make(chan struct{}, maxConcurrency)

	for i := range candidates {
		wg.Add(1)
		limitCh <- struct{}{} // 占用并发名额
		go func(idx int) {
			defer func() {
				wg.Done()
				<-limitCh // 释放并发名额
				// 捕获异常避免单个文件错误导致整个程序崩溃
				if err := recover(); err != nil {
					// 可自行添加日志输出错误信息
				}
			}()
			hash, err := md5Hash(filesMeta[candidates[idx]].FullPath)
			if err != nil {
				// 可自行添加错误日志
				return
			}
			filesMeta[candidates[idx]].Hash = hash
		}(i)
	}
	wg.Wait()
	close(limitCh)
}

func md5Hash(filePath string) (string, error) {
	file, err := os.Open(filePath)
	if err != nil {
		return "", err
	}
	defer file.Close()

	hash := md5.New()
	if _, err := io.Copy(hash, file); err != nil {
		return "", err
	}
	hashInBytes := hash.Sum(nil)
	return hex.EncodeToString(hashInBytes), nil
}

• 若candidates中存在重复的索引值，会出现多个goroutine同时修改filesMeta同一个元素的并发写冲突，需要提前对candidates做去重处理。
• maxConcurrency的数值可以根据你的网络共享实际性能调整，建议从3开始逐步上调，找到性能最优的数值即可。

内容的提问来源于stack exchange，提问作者None