使用curl无法获取外部网页完整URL的技术求助

这个问题我碰到过好几次，大概率是URL重定向或者前端JavaScript跳转搞的鬼，咱们一步步拆解解决：

1. 处理HTTP 3xx重定向 #

很多网站会用HTTP重定向（比如301/302状态码）把原始URL跳转到真实子页面，而curl默认不会自动跟随跳转，这就导致直接用原始URL请求拿不到正确内容。

解决办法很简单，给curl加-L（或者--location）参数，让它自动跟随所有跳转：

curl -L "你从主页面抓取到的原始URL"

如果想排查跳转的具体过程，可以加-v参数查看详细请求日志：

curl -v -L "原始URL"

这样能看到每一步的状态码、跳转目标，方便确认问题。

2. 处理前端JavaScript跳转 #

如果原始URL返回的页面里包含JS代码（比如window.location.href = "真实子页面URL"），curl因为不会执行JavaScript，所以无法自动跳转。这时候需要先抓取原始页面的内容，再从JS代码里提取真实目标URL。

举个例子，先用curl获取原始页面内容：

curl "原始URL" > temp_page.html

然后用正则工具（比如grep）提取跳转目标：

grep -o 'window.location.href = "\([^"]*\)"' temp_page.html | cut -d '"' -f2

也可以直接用管道一步完成：

curl "原始URL" | grep -o 'window.location.href = "\([^"]*\)"' | cut -d '"' -f2

注意：不同网站的JS跳转写法可能不一样，你需要根据实际页面的代码调整正则表达式，比如有的可能是location.replace("xxx")，这时候就要修改匹配规则。

3. 额外小技巧：模拟浏览器请求 #

有些网站会根据请求的User-Agent判断是否是爬虫，返回不同的内容或者直接跳转。这时候可以给curl加上浏览器的UA头，伪装成正常浏览器请求：

curl -L -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36" "原始URL"

这样能避免很多反爬导致的异常跳转。

内容的提问来源于stack exchange，提问作者Jacob Riches