Go语言批量文件串行改并发，封装goroutine的实现方案是否可行？

你当前的方案不能满足并发处理的需求，存在以下核心问题：

• wg.Wait()位置错误：你把Wait调用放在了for循环内部，每启动一个goroutine就会立刻阻塞等待它执行完成，本质上还是串行执行，完全没有用到并发的能力
• 缺少错误处理逻辑：5个处理环节任意一步报错都没有捕获和日志记录，出现异常文件时你无法感知处理失败的原因
• 缺少并发数控制：如果单日文件量暴涨，直接为每个文件启动一个goroutine可能会导致CPU、内存、数据库连接、目标端接收连接占满，引发服务雪崩
• 如果你的addProcessedToDatabase、sendFile函数没有做并发安全处理，多goroutine同时调用可能出现数据竞争、连接异常等问题

import (
    "os"
    "path/filepath"
    "sync"
)

// 控制最大并发数，可根据你的服务器配置、目标端接收能力调整，建议设为10~50
const maxConcurrency = 20

func processFiles() {
    var filesToTransfer []string
    err := filepath.Walk("/uploads", func(path string, info os.FileInfo, err error) error {
        if err != nil {
            ErrorLogger.Printf("遍历路径失败 %s: %v", path, err)
            return err
        }
        if !info.IsDir() { // 过滤目录，避免把文件夹也加入处理队列
            filesToTransfer = append(filesToTransfer, path)
        }
        return nil
    })
    if err != nil {
        ErrorLogger.Println("遍历上传目录失败:", err)
        return
    }

    var wg sync.WaitGroup
    // 带缓冲通道实现并发限流，避免资源耗尽
    limiter := make(chan struct{}, maxConcurrency)

    for _, fileToTransfer := range filesToTransfer {
        wg.Add(1)
        limiter <- struct{}{} // 占用并发槽位
        go func(uploadFile string) {
            defer wg.Done()
            defer func() { <-limiter }() // 释放并发槽位
            // 捕获goroutine panic，避免单文件处理异常导致整个进程崩溃
            defer func() {
                if r := recover(); r != nil {
                    ErrorLogger.Printf("处理文件%s发生异常: %v", uploadFile, r)
                }
            }()

            // 每一步增加错误判断，避免错误后执行无效逻辑
            if err := checkFileSize(uploadFile, expectedSize); err != nil {
                ErrorLogger.Printf("文件%s大小校验失败: %v", uploadFile, err)
                return
            }
            if err := checkFileHash(uploadFile); err != nil {
                ErrorLogger.Printf("文件%s哈希校验失败: %v", uploadFile, err)
                return
            }
            if err := readFileData(uploadFile); err != nil {
                ErrorLogger.Printf("文件%s读取失败: %v", uploadFile, err)
                return
            }
            if err := addProcessedToDatabase(uploadFile); err != nil {
                ErrorLogger.Printf("文件%s入库失败: %v", uploadFile, err)
                return
            }
            if err := sendFile(uploadFile); err != nil {
                ErrorLogger.Printf("文件%s发送失败: %v", uploadFile, err)
                return
            }
            InfoLogger.Printf("文件%s处理完成", uploadFile)
        }(fileToTransfer)
    }
    // Wait放在循环外部，等待所有goroutine执行完成
    wg.Wait()
    close(limiter)
}

• 你提到的fs.FileInfo传入goroutine的问题，可以自定义结构体存储任务信息：type FileTask struct { Path string; Info fs.FileInfo }，遍历目录时将路径和文件信息一起存入结构体切片，再传给goroutine即可
• 如果需要支持处理失败重试，可以在错误分支增加重试逻辑，或者将失败任务存入本地文件后续兜底处理
• 数据库操作建议提前初始化连接池，适配多goroutine并发调用的场景

内容的提问来源于stack exchange，提问作者user982599