如何处理Rust中reqwest库的TooManyRedirects panic问题

问题原因 #

Twitter的链接（如https://twitter.com/Lions）会触发多次重定向（比如跳转至x.com、地域适配页或登录提示页），而reqwest默认客户端的重定向次数上限为5次；同时无User-Agent的请求会被Twitter拦截并触发循环重定向，最终导致TooManyRedirects错误。

解决步骤 #

要获取最终重定向页面的内容，需要自定义reqwest客户端，调整重定向策略并添加合法请求头：

• 提高允许的重定向次数，避免因次数超限报错
• 添加浏览器标识的User-Agent，防止被Twitter拦截触发循环重定向
• 优化错误处理逻辑，替代粗暴的expectpanic

修改后的完整代码 #

use reqwest::blocking::{Client, RedirectPolicy};
use scraper::{Html, Selector};

fn elem_html_vec(url: &str, element: &str, vec_elem: &mut Vec<String>) -> Result<(), Box<dyn std::error::Error>> {
    // 创建自定义客户端，配置重定向规则和请求头
    let client = Client::builder()
        // 允许最多10次重定向，可根据实际情况调整
        .redirect(RedirectPolicy::limited(10))
        // 模拟Chrome浏览器的User-Agent，避免被拦截
        .user_agent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")
        .build()?;

    // 发起请求并获取响应文本
    let response = client.get(url)
        .send()?
        .text()?;

    // 解析HTML并提取目标元素
    let document = Html::parse_document(&response);
    let parsed_elements = Selector::parse(element)?;

    for elem in document.select(&parsed_elements) {
        vec_elem.push(elem.inner_html());
    }

    Ok(())
}

// 调用示例
fn main() {
    let mut elements = Vec::new();
    elem_html_vec("https://twitter.com/Lions", "div", &mut elements)
        .expect("Failed to fetch and parse elements");
    
    println!("Extracted elements: {:?}", elements);
}

关键说明 #

• 重定向策略：RedirectPolicy::limited(10)将重定向次数上限提高到10次，足够覆盖Twitter的常规重定向链；若需无条件跟随所有重定向，可改用RedirectPolicy::follow_all()，但需警惕潜在的无限循环风险。
• User-Agent：Twitter会拒绝无标识的请求，添加标准浏览器UA可避免触发循环重定向。
• 错误处理：函数返回Result而非直接panic，调用方可根据业务场景选择合适的错误处理方式（如match或unwrap）。
• 参数优化：将url参数从&String改为&str，提升参数灵活性（&String可自动转换为&str）。

额外排查 #

如果仍遇到重定向问题，可通过以下代码查看最终重定向的URL，确认是否为预期页面：

let final_url = client.get(url).send()?.url().clone();
println!("Final redirected URL: {}", final_url);

内容的提问来源于stack exchange，提问作者user22092733