如何在无头Ubuntu服务器上自动获取重定向后的最终URL

我来给你几个实用的方案，不管是修复Selenium的问题，还是用更轻量的工具都能搞定：

方案1：修复Selenium无头Firefox的URL获取问题 #

无头模式下current_url拿不到重定向结果，大概率是因为页面还没完成重定向你就去获取URL了，或者Firefox无头模式需要额外配置参数。试试下面的代码：

from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.support.ui import WebDriverWait

# 配置无头Firefox选项
opts = Options()
opts.add_argument("--headless")
opts.add_argument("--no-sandbox")  # 解决服务器环境下的权限限制
opts.add_argument("--disable-dev-shm-usage")  # 避免内存不足导致的异常

driver = webdriver.Firefox(options=opts)
initial_url = "你的初始URL"
driver.get(initial_url)

# 显式等待重定向完成：等待URL和初始URL不同，最多等10秒
try:
    WebDriverWait(driver, 10).until(lambda d: d.current_url != initial_url)
    final_url = driver.current_url
    print(f"最终重定向URL: {final_url}")
finally:
    driver.quit()

核心是显式等待，确保重定向完成后再获取URL。无头模式下页面加载的节奏和正常模式不一样，直接拿current_url可能拿到的还是初始地址。

方案2：用更轻量的工具（非Selenium） #

如果你的重定向是HTTP 3xx类型的（不是JavaScript动态触发的），用requests或者curl会高效得多，不需要启动浏览器：

用Python的requests库 #

import requests

initial_url = "你的初始URL"
# requests默认自动跟随重定向
response = requests.get(initial_url)

# 直接获取最终URL
final_url = response.url
print(f"最终重定向URL: {final_url}")

# 可选：查看所有重定向步骤
print("重定向历史:")
for step in response.history:
    print(f"{step.status_code} -> {step.url}")

用curl命令（服务器终端直接执行） #

curl -Ls -o /dev/null -w "%{url_effective}\n" "你的初始URL"

参数说明：

• -L：自动跟随重定向
• -s：静默模式，不输出无关信息
• -o /dev/null：丢弃响应内容，只关注最终URL
• -w "%{url_effective}\n"：打印最终生效的URL

方案3：如果是JavaScript触发的重定向（非HTTP重定向） #

如果重定向是页面JS代码触发的（比如window.location.href跳转），requests和curl就无能为力了，这时候可以试试Playwright——它比Selenium更稳定，对无头模式的支持更好：

from playwright.sync_api import sync_playwright

initial_url = "你的初始URL"
with sync_playwright() as p:
    # 启动无头Firefox
    browser = p.firefox.launch(headless=True)
    page = browser.new_page()
    # 等待页面加载完成（networkidle表示网络请求稳定后）
    page.goto(initial_url, wait_until="networkidle")
    final_url = page.url
    print(f"最终重定向URL: {final_url}")
    browser.close()

Playwright的wait_until参数能更精准地控制等待时机，避免提前获取URL的问题。

内容的提问来源于stack exchange，提问作者Filip Burgie艂