浏览器与Python Requests重定向行为不一致，无法获取最终目标链接

这个问题我碰到过不少次啦——Requests库只认HTTP层面的3xx重定向，但浏览器里的第二次跳转（url3→url4）大概率是前端触发的跳转，比如用meta标签或者JavaScript实现的，这种情况Requests不会自动跟进，因为它不执行JS，也不会解析HTML里的前端跳转逻辑。

下面给你两种解决方案，根据跳转的复杂程度选就行：

方案一：手动解析前端跳转逻辑（轻量高效） #

先获取url3的页面内容，检查里面的跳转规则，常见的两种情况是meta刷新标签和JavaScript跳转，我们可以用BeautifulSoup和正则来提取目标URL。

步骤1：安装依赖 #

pip install beautifulsoup4 requests

步骤2：实现代码 #

import requests
from bs4 import BeautifulSoup
import re
from urllib.parse import urljoin

# 替换成你实际的headers
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
    'cookie': '',
    'referer': ''
}

def crawl_final_url(start_url):
    # 1. 访问主URL，提取按钮对应的url2（这里假设你已经能拿到url2，比如通过解析页面元素）
    # 示例：假设你已经获取到url2 = "https://www.url2.com"
    url2 = "https://www.url2.com"
    
    # 2. 访问url2，跟进HTTP重定向到url3
    resp = requests.get(url2, headers=headers, allow_redirects=True)
    current_url = resp.url  # 此时是url3
    
    # 3. 解析url3的页面，查找前端跳转
    soup = BeautifulSoup(resp.text, 'html.parser')
    
    # 检查meta refresh跳转
    meta_refresh = soup.find('meta', attrs={'http-equiv': re.compile('refresh', re.I)})
    if meta_refresh:
        content = meta_refresh.get('content', '')
        url_match = re.search(r'url=(.*)', content, re.I)
        if url_match:
            target_url = url_match.group(1).strip()
            # 处理相对路径
            if not target_url.startswith('http'):
                target_url = urljoin(current_url, target_url)
            print(f"找到Meta跳转目标：{target_url}")
            return target_url
    
    # 检查JavaScript跳转（匹配常见的window.location写法）
    js_pattern = re.compile(r'window\.location(?:\.href)?\s*=\s*["\'](.*?)["\']', re.I)
    js_matches = js_pattern.findall(resp.text)
    if js_matches:
        target_url = js_matches[0].strip()
        if not target_url.startswith('http'):
            target_url = urljoin(current_url, target_url)
        print(f"找到JS跳转目标：{target_url}")
        return target_url
    
    # 如果没找到，说明跳转逻辑更复杂，需要用浏览器模拟
    print("未检测到简单前端跳转，建议使用浏览器模拟工具")
    return current_url

# 调用示例
final_url = crawl_final_url("https://www.url1.com")
print(f"最终目标URL：{final_url}")

方案二：用浏览器模拟工具（处理复杂JS跳转） #

如果url3的跳转是通过复杂的JavaScript逻辑生成的（比如动态计算URL、需要登录状态验证等），手动解析就不太现实了，这时候可以用Selenium或Playwright来模拟真实浏览器的行为，它们会自动执行JS并跟进所有跳转。

示例：用Selenium实现 #

步骤1：安装依赖

pip install selenium

还要下载对应浏览器的驱动（比如ChromeDriver，要和你的Chrome版本匹配）。

步骤2：实现代码

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By

def get_final_url_with_selenium(start_url):
    # 配置无头模式（不显示浏览器窗口）
    options = Options()
    options.add_argument('--headless=new')
    options.add_argument('--disable-gpu')
    options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36')
    # 如果你需要携带cookie，可以添加以下配置
    # options.add_argument(f'--cookie={your_cookie_string}')
    
    driver = webdriver.Chrome(options=options)
    try:
        # 1. 访问主URL，找到跳转按钮并点击（或直接提取按钮的href）
        driver.get(start_url)
        # 示例：找到按钮并点击（根据实际页面元素调整选择器）
        # jump_button = driver.find_element(By.CSS_SELECTOR, 'button[data-url]')
        # jump_button.click()
        
        # 或者直接提取按钮的链接
        # url2 = jump_button.get_attribute('href')
        # driver.get(url2)
        
        # 等待跳转完成（隐式等待10秒，或根据元素出现等待）
        driver.implicitly_wait(10)
        final_url = driver.current_url
        print(f"最终目标URL：{final_url}")
        return final_url
    finally:
        # 关闭浏览器
        driver.quit()

# 调用示例
final_url = get_final_url_with_selenium("https://www.url1.com")

总结 #

• 如果是简单的meta或静态JS跳转，用方案一足够，速度快且资源占用少；
• 如果是复杂的动态JS跳转，方案二的浏览器模拟工具能完美解决，还原真实浏览器的行为。

内容的提问来源于stack exchange，提问作者Aya