GoLang net/http CookieJar跨函数持久化致Cookie堆积问题

核心问题 #

你的代码中，goroutine并未将创建好的CookieJar作为参数传入，而是直接捕获循环中的CookieJar变量。在Go版本低于1.21时，for循环的迭代变量是复用的，多个goroutine会共享同一个CookieJar实例（即使你每次循环都创建了新的Jar），最终导致所有请求的Cookie都堆积到同一个Jar里，触发服务器的Cookie过大错误。

此外，你在goroutine中添加的cookieJarMutex完全不必要——每个goroutine本应拥有独立的CookieJar，锁的存在反而让所有goroutine串行执行，彻底失去并发意义。

修复步骤 #

1. 将CookieJar作为参数传入goroutine #

修改DistributeTasks中的goroutine定义，把CookieJar作为参数传入，避免变量捕获问题：

func DistributeTasks(url string) error {
    // redacted code 

    responseCh := make(chan utilities.WebsiteData, len(distributedCoupons))
    errorCh := make(chan error)
    var wg sync.WaitGroup

    for _, couponArray := range distributedCoupons {
        wg.Add(1)
        cookieJar, err := cookiejar.New(&cookiejar.Options{PublicSuffixList: publicsuffix.List})
        if err != nil {
            errorCh <- err
            wg.Done() // 减少WaitGroup计数，避免阻塞
            continue
        }
        // 将cookieJar作为参数传入goroutine
        go func(couponArray utilities.TaskData, jar *cookiejar.Jar) {
            defer wg.Done()

            _, err = TaskToDistribute(parsedURL, couponArray, responseCh, errorCh, jar)
            if err != nil {
                errorCh <- err
            }
        }(couponArray, cookieJar)
    }

    go func() {
        wg.Wait()
        close(responseCh)
        close(errorCh)
    }()

    // Channels are handled here, also redacted
}

2. 移除不必要的互斥锁 #

上述代码已删除cookieJarMutex，因为每个goroutine现在持有独立的CookieJar，无需锁来保护访问。

3. 验证TaskToDistribute的CookieJar使用 #

确保TaskToDistribute中每次调用TestCoupon时，传入的是当前goroutine的独立CookieJar，没有意外共享其他Jar的情况：

// TaskToDistribute中的循环示例（确保传入当前goroutine的CookieJar）
for _, task:= range taskData.tasks{
    GraphQLQuery := CreateGraphQLQuery(taskDataV2, parsedSessionCookie, testProduct_ProductID)
    CouponValue, err := TestCoupon(*parsedURL, GraphQLQuery, &taskData.ProxyURL, CookieJar)
    if err != nil {
        log.Error(err)
    }
    time.Sleep(350 * time.Millisecond)
}

4. 额外检查点 #

• 确认TestCoupon中没有修改全局的CookieJar或共享的Cookie存储
• 若使用Go 1.21及以上版本，循环变量默认每次迭代创建新变量，但仍建议将CookieJar作为参数传入，避免潜在作用域问题

内容的提问来源于stack exchange，提问作者makors