Golang中MySQL并发写入控制方案咨询：WorkerPool与消息队列选型

我正在处理一个后台任务，但相关经验不足。当前业务场景如下：

• 使用AWS SQS接收其他服务的消息，每3分钟会收到约300条消息
• 每条消息需经过处理、计算后写入MySQL数据库，单条消息处理完成耗时约5分钟
• MySQL的max_connections设置约为100，因此必须限制MySQL写入的并发数

我考虑了两种处理方案：

1. 使用缓冲通道实现WorkerPool进行任务处理，控制MySQL写入并发
2. 拆分写入流程：新增一个消息队列，计算完成后将写入MySQL的任务发送至该队列，每次最多处理10~15条消息

两种方案的共同逻辑是：计算完成后先将数据存入MongoDB，再写入MySQL。

想请教：哪种方案更易实现？或者有没有其他更优的处理方式？

另外，我已经尝试了方案1，想了解如果有超过1万个goroutine等待向通道发送数据，除了内存占用问题外，还会存在哪些其他问题？

一、两种方案的实现难度对比 #

方案1（WorkerPool+缓冲通道） #

• 实现难度更低：Go原生对goroutine和通道的支持非常成熟，WorkerPool的核心逻辑简单直接：
  • 初始化一个带缓冲的任务通道（缓冲大小可根据消息量灵活调整）
  • 启动固定数量的worker goroutine（建议设为10~15，匹配你计划的MySQL写入并发上限），每个worker循环从通道接收任务，执行「MongoDB存储→MySQL写入」流程
  • 从SQS拉取消息并完成计算后，将任务发送到缓冲通道即可
• 额外优势：逻辑闭环，无需依赖额外中间件，调试、运维成本更低

方案2（拆分流程+新增消息队列） #

• 实现难度更高：需要额外维护一套消息队列组件（比如新增SQS队列或Redis队列），还要处理额外逻辑：
  • 计算服务向新队列发送任务的生产逻辑
  • 独立的消费服务从新队列拉取任务、控制并发写入MySQL的逻辑
  • 消息幂等性处理（避免重复写入MySQL）、重试机制等
• 额外优势：计算与写入流程完全解耦，后续调整写入并发规则、替换存储组件时，改动范围更小

二、其他可选优化方案 #

在方案1的基础上，还可以做这些优化提升性能：

• MySQL批量写入：将多个待写入数据攒成一批，使用INSERT ... VALUES (...), (...), ...语句批量插入，能大幅减少连接数占用，提升写入效率（需确认业务场景允许批量操作）
• 连接池精细化配置：使用Go标准库database/sql的连接池，设置SetMaxOpenConns为10~15，SetMaxIdleConns设为合理值（比如5），避免频繁创建、销毁数据库连接的开销

三、1万个goroutine等待发送通道的潜在问题 #

除了内存占用（每个goroutine初始栈约2KB，1万个总计约20MB，短期影响不大但持续增长会有风险），还有以下隐患：

• 调度开销飙升：Go调度器需要管理大量处于阻塞等待状态的goroutine，会额外占用CPU资源，导致正常任务的执行效率下降
• 连锁阻塞风险：如果通道消费端（worker）出现故障或处理变慢，大量goroutine阻塞在任务发送操作上，可能会导致上游SQS拉取逻辑也被阻塞，进而拖慢整个服务
• 资源泄漏风险：若未正确处理goroutine退出逻辑（比如SQS拉取停止后），这些等待的goroutine可能无法被回收，长期运行会导致内存持续上涨

内容的提问来源于stack exchange，提问作者John