如何为Colly采集到的相对链接补充完整URL前缀？

针对你遇到的相对路径链接缺少前缀的问题，最优方案是利用Colly内置的Request.AbsoluteURL()方法，它能自动将相对路径转换为完整的绝对URL，无需手动拼接，还能兼容各种路径场景（比如不同层级的相对路径、已经是绝对路径的链接）。

修改后的代码示例 #

func PaloNet() {
    c := colly.NewCollector(
        colly.AllowedDomains("security.paloaltonetworks.com"),
    )

    c.OnHTML(".list", func(e *colly.HTMLElement) {
        // 遍历获取到的每个相对路径链接
        e.ForEach("a", func(_ int, el *colly.HTMLElement) {
            relativeURL := el.Attr("href")
            // 转换为绝对URL
            absoluteURL := e.Request.AbsoluteURL(relativeURL)
            fmt.Println(absoluteURL)
        })
    })

    c.Visit("https://security.paloaltonetworks.com/")
}

为什么这是最优方法？ #

• 无需硬编码域名前缀，避免后续域名变更时需要修改代码
• 自动处理所有路径格式：不管是/xxx根相对路径，还是../xxx层级相对路径，甚至已经是绝对路径的链接，都能正确处理
• 符合Colly框架的设计逻辑，代码更简洁可靠

如果坚持手动拼接（不推荐），可以用字符串拼接的方式，但需要额外判断链接是否已经是绝对路径：

baseURL := "https://security.paloaltonetworks.com"
absoluteURL := baseURL + relativeURL

但这种方式无法处理层级相对路径（比如../path），也容易重复拼接前缀，所以不如内置方法实用。

内容的提问来源于stack exchange，提问作者GluttonousCrown