Go协程Context超时异常求助：30秒时限频繁触发超时

核心原因分析 #

1. 数据库连接池资源竞争 #

数据库最大连接数仅为5，而最多100个协程同时执行，每个协程需完成7次MySQL查询。大量协程会阻塞在等待连接池分配连接的环节，等待时间叠加实际操作时间后，很容易超过30秒的Context超时阈值。

2. 父Context提前取消风险 #

processLib中创建的超时Context依赖传入的父ctx，如果上层调用processLibs时的父ctx被提前取消（比如调用方提前结束并触发cancel），子Context会直接继承取消信号，导致协程提前超时，与自身30秒超时设置无关。

3. 数据库操作未绑定Context #

若persistLib中的MySQL查询未使用带Context的驱动方法（如QueryContext），即使Context超时，数据库查询仍会继续执行，最终返回的超时错误只是Context本身的终止信号，而非操作实际超时，但协程会被标记为失败。

具体修复步骤 #

1. 调整数据库连接池参数 #

根据并发量扩容连接池，减少连接等待时间：

// 初始化数据库连接后设置参数
db.SetMaxOpenConns(50)       // 最大打开连接数，根据数据库承载能力调整，建议不低于并发协程数的一半
db.SetMaxIdleConns(25)       // 最大空闲连接数，通常设为MaxOpenConns的50%左右
db.SetConnMaxLifetime(time.Minute * 5) // 连接最长生命周期，避免闲置连接被数据库主动断开

2. 隔离Context依赖（可选） #

如果不需要父Context的信号（如程序退出），改用context.Background()作为超时Context的父级，避免受外部取消信号影响：

func processLib(ctx context.Context, lib Library) {
    // 使用background隔离外部Context影响
    cancelContext, cancel := context.WithTimeout(context.Background(), time.Second*30)
    defer cancel()

    if err := persistLib(cancelContext, lib); err != nil {
        log.Error("error persisting library", log.Err(err))
    }
}

若需要保留父Context的全局信号（如程序终止），可使用context.WithCancel组合两个信号逻辑

3. 绑定Context到所有数据库操作 #

修改persistLib中的所有MySQL操作，使用带Context的驱动方法，确保Context超时能主动终止查询：

// 错误写法：未传递Context
rows, err := db.Query("SELECT id FROM libraries WHERE name = ?", lib.Name)

// 正确写法：传递cancelContext
rows, err := db.QueryContext(cancelContext, "SELECT id FROM libraries WHERE name = ?", lib.Name)

所有数据库操作（Query/Exec/Prepare等）都要替换为带Context的版本

4. 等待所有协程执行完成 #

当前processLibs仅启动协程不等待，无法准确监控整体执行情况，添加sync.WaitGroup等待所有协程结束：

func processLibs(ctx context.Context, libs []Library) {
    var wg sync.WaitGroup
    wg.Add(len(libs))
    for _, lib := range libs {
        // 用闭包捕获当前lib，避免循环变量引用问题
        go func(l Library) {
            defer wg.Done()
            processLib(ctx, l)
        }(lib)
    }
    wg.Wait() // 等待所有协程执行完毕
}

5. 添加耗时监控 #

在processLib中记录执行耗时，验证实际操作时间是否真的低于30秒，同时排查是否有异常耗时环节：

func processLib(ctx context.Context, lib Library) {
    startTime := time.Now()
    cancelContext, cancel := context.WithTimeout(ctx, time.Second*30)
    defer cancel()

    if err := persistLib(cancelContext, lib); err != nil {
        log.Error(
            "error persisting library",
            log.Err(err),
            log.String("lib_name", lib.Name),
            log.Duration("total_duration", time.Since(startTime)),
        )
    } else {
        log.Info(
            "persisted library successfully",
            log.String("lib_name", lib.Name),
            log.Duration("total_duration", time.Since(startTime)),
        )
    }
}

内容的提问来源于stack exchange，提问作者MarcoVitangeli