使用headless_chrome 1.0.10爬取网页遇指定错误如何解决？

可能的原因 #

这个错误通常是wait_until_navigated()等待的页面加载事件未在超时时间内触发导致的，常见诱因包括：

• 默认等待时长不足以完成页面加载（尤其是依赖动态渲染的页面）
• 页面存在多次重定向或JS触发的跳转，导航事件未被正确捕获
• 页面本身加载异常（如资源加载失败、反爬拦截）
• wait_until_navigated()的默认等待逻辑不匹配目标页面的加载状态

具体解决方法 #

1. 自定义等待超时时间 #

wait_until_navigated()有默认超时限制，可通过with_timeout()设置更长等待时长，给页面充足的加载时间：

use std::time::Duration;

// 替换原有等待逻辑
Ok(unloaded_page) => match unloaded_page.wait_until_navigated().with_timeout(Duration::from_secs(30)) {
    Ok(loaded_page) => Ok(loaded_page),
    Err(load_error) => {
        println!("couldn't wait for {}, {load_error}", &link);
        Err(load_error.into())
    }
},

2. 更换等待的页面状态事件 #

如果目标是SPA或动态渲染页面，domContentLoaded可能早于实际内容加载完成，可改用等待load事件，或自定义等待条件：

use headless_chrome::protocol::page::PageEvent;

// 等待页面load事件完成
Ok(unloaded_page) => match unloaded_page.wait_for_event(PageEvent::Load, Duration::from_secs(30)) {
    Ok(_) => Ok(&tab),
    Err(load_error) => {
        println!("couldn't wait for load event of {}, {load_error}", &link);
        Err(load_error.into())
    }
},

也可以等待页面关键元素加载完成，更精准：

use std::time::Duration;

// ...

Ok(unloaded_page) => {
    match unloaded_page.wait_until_navigated().with_timeout(Duration::from_secs(20)) {
        Ok(_) => {
            // 等待页面中body元素加载完成，可替换为目标页面的关键元素选择器
            match tab.wait_for_element("body", Duration::from_secs(10)) {
                Ok(_) => Ok(&tab),
                Err(e) => {
                    println!("关键元素加载超时: {}, {}", link, e);
                    Err(e.into())
                }
            }
        }
        Err(load_error) => {
            println!("couldn't wait for {}, {load_error}", &link);
            Err(load_error.into())
        }
    }
},

3. 添加重试机制 #

针对偶尔加载失败的链接，增加重试逻辑避免直接报错：

use std::time::Duration;
use std::thread;

fn navigate_with_retry(tab: &mut Tab, link: &str, max_retries: usize) -> Result<&Tab, Box<dyn std::error::Error>> {
    for attempt in 0..max_retries {
        match tab.navigate_to(link) {
            Ok(unloaded_page) => match unloaded_page.wait_until_navigated().with_timeout(Duration::from_secs(20)) {
                Ok(loaded_page) => return Ok(loaded_page),
                Err(e) => {
                    println!("第{}次加载失败: {}, {}", attempt+1, link, e);
                    if attempt == max_retries -1 {
                        return Err(e.into());
                    }
                    thread::sleep(Duration::from_secs(2));
                }
            },
            Err(e) => {
                println!("第{}次打开失败: {}, {}", attempt+1, link, e);
                if attempt == max_retries -1 {
                    return Err(e.into());
                }
                thread::sleep(Duration::from_secs(2));
            }
        }
    }
    Err("重试次数耗尽".into())
}

// 使用示例
let active = navigate_with_retry(&mut tab, &link, 3);

4. 规避反爬拦截 #

部分链接报错可能是网站检测到无头浏览器，可设置浏览器参数模拟真实环境：

use headless_chrome::Browser;

let browser = Browser::default()
    .with_args(vec![
        "--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
        "--disable-blink-features=AutomationControlled",
        "--no-sandbox",
    ])
    .expect("Failed to launch browser");

总结 #

你的wait_until_navigated()使用方式本身无语法错误，但默认的等待逻辑和时长可能不匹配目标页面的加载特性。优先尝试调整超时时间和更换等待事件，若仍有问题，再结合重试机制和反爬规避方案排查。

内容的提问来源于stack exchange，提问作者middleStackoverflower