Go Colly循环访问URL重复请求问题及会话保留需求

问题根源 #

重复访问通常是因为：

• 同一个Collector实例在循环中被重复注册了相同的回调函数，导致同一个URL的响应被多次处理，看起来像重复访问；
• 或者Collector的AllowURLRevisit被设置为true，允许重复请求同一URL；
• 也可能是回调逻辑中额外触发了重复的Visit调用。

而每次新建Collector会丢失登录会话，是因为每个Collector拥有独立的CookieJar，登录后的Cookie只绑定在初始Collector中，新实例无法复用这些会话信息。

可行解决方案 #

1. 复用单个Collector，仅注册一次回调

这是最核心的解决方案，既保留会话，又避免重复访问：

package main

import (
    "fmt"
    "log"
    "github.com/gocolly/colly/v2"
)

func main() {
    // 初始化一次Collector，默认禁止重复访问同一URL（AllowURLRevisit=false）
    c := colly.NewCollector()

    // 先执行登录，获取会话Cookie（仅执行一次）
    err := c.Post("https://your-login-url.com", map[string]string{
        "username": "your-username",
        "password": "your-password",
    })
    if err != nil {
        log.Fatal("登录失败:", err)
    }

    // 仅注册一次回调逻辑，不要放在循环内
    c.OnHTML("target-selector", func(e *colly.HTMLElement) {
        // 这里写你的信息提取逻辑
        fmt.Println("提取到内容:", e.Text)
    })

    // 待访问的链接列表
    targetURLs := []string{"cate1-url", "cate2-url", "cate3-url"}

    // 循环访问链接
    for _, url := range targetURLs {
        fmt.Println("开始访问:", url)
        if err := c.Visit(url); err != nil {
            log.Printf("访问%s失败: %v", url, err)
        }
        // 等待当前请求及关联请求全部完成，再进入下一次循环
        c.Wait()
    }
}

关键注意点：

• 回调函数（OnHTML/OnRequest等）只在初始化Collector后注册一次，不要在循环中重复注册；
• 利用c.Wait()确保每次请求完成后再处理下一个，避免并发导致的重复触发；
• 确认AllowURLRevisit保持默认的false，禁止同一URL被重复请求。

2. 手动维护已访问URL集合（兜底方案）

如果Collector的默认去重机制失效，可以手动添加一层去重：

visited := make(map[string]bool)
for _, url := range targetURLs {
    if !visited[url] {
        visited[url] = true
        if err := c.Visit(url); err != nil {
            log.Printf("访问%s失败: %v", url, err)
        }
        c.Wait()
    }
}

3. 检查回调中的重复Visit调用

排查你的回调逻辑，是否在处理某个URL时，又触发了对其他目标URL的Visit调用（比如从cate1页面爬取到cate2的链接并再次调用Visit），这会导致循环中的Visit和回调中的Visit重复执行，造成多次访问。如果是这种情况，需要调整回调逻辑，避免不必要的重复请求。

内容的提问来源于stack exchange，提问作者Javista