Rust中从Arc<RequestInterceptor>提取值及异步执行顺序问题排查

为什么外部先打印空值？ #

这是异步执行时序问题：

• enable_request_interception注册的拦截器闭包运行在浏览器处理网络请求的异步线程中
• 你的外部打印代码是同步执行的，在浏览器还没触发XHR请求、拦截器还没修改Arc<Mutex<String>>内的内容时，就已经执行了打印操作，所以拿到的是空值。

另外回顾你最初遇到的E0525错误：RequestInterceptor要求闭包实现Fn（不可变捕获、可多次调用），而直接修改外部可变变量会让闭包变成FnMut（可变捕获、只能被可变借用调用）。用Arc<Mutex<T>>解决了这个问题——Mutex内部提供安全的可变访问，Arc实现线程安全的共享所有权，满足Send + Sync要求，让闭包符合Fn的约束。

解决办法 #

方法1：用条件变量等待目标XHR请求 #

如果你需要等待特定XHR请求出现后再获取URL，可以用Condvar配合Mutex，让外部代码阻塞等待直到拦截器捕获到目标请求：

use std::sync::{Arc, Mutex, Condvar};
use rust_headless_chrome::{Browser, tab::RequestPausedAction};
use rust_headless_chrome::protocol::cdp::Network::ResourceType;

fn main() -> Result<(), Box<dyn std::error::Error>> {
    let browser = Browser::default()?;
    let tab = browser.new_tab()?;

    // 组合Mutex和Condvar，实现线程安全的等待通知
    let sync_pair = Arc::new((Mutex::new(String::new()), Condvar::new()));
    let sync_pair_clone = sync_pair.clone();

    // 注册请求拦截器
    tab.enable_request_interception(move |request| {
        let (url_lock, cvar) = &*sync_pair_clone;
        if request.resource_type == ResourceType::XHR {
            let mut url = url_lock.lock().unwrap();
            *url = request.url.clone();
            println!("闭包内捕获的XHR URL: {}", request.url);
            // 通知等待的线程，URL已更新
            cvar.notify_one();
        }
        // 继续处理请求，不要阻塞浏览器
        Ok(RequestPausedAction::Continue)
    })?;

    // 加载目标页面，触发XHR请求
    tab.navigate_to("https://your-target-page.com")?;

    // 等待直到URL被成功捕获
    let (url_lock, cvar) = &*sync_pair;
    let mut url = url_lock.lock().unwrap();
    while url.is_empty() {
        // 释放锁并等待通知，收到通知后重新获取锁
        url = cvar.wait(url).unwrap();
    }

    // 此时URL已被填充，可以正常打印
    println!("外部获取的XHR URL: {}", url);

    Ok(())
}

方法2：等待页面加载完成后读取所有XHR URL #

如果需要捕获所有XHR请求，或者不需要立即等待，可以先存储所有XHR URL，等页面导航完成（确保XHR请求已触发）后再读取：

use std::sync::{Arc, Mutex};
use rust_headless_chrome::{Browser, tab::RequestPausedAction};
use rust_headless_chrome::protocol::cdp::Network::ResourceType;

fn main() -> Result<(), Box<dyn std::error::Error>> {
    let browser = Browser::default()?;
    let tab = browser.new_tab()?;

    // 用Vec存储所有捕获到的XHR URL
    let xhr_urls = Arc::new(Mutex::new(Vec::new()));
    let xhr_urls_clone = xhr_urls.clone();

    tab.enable_request_interception(move |request| {
        if request.resource_type == ResourceType::XHR {
            let mut urls = xhr_urls_clone.lock().unwrap();
            urls.push(request.url.clone());
            println!("闭包内捕获的XHR URL: {}", request.url);
        }
        Ok(RequestPausedAction::Continue)
    })?;

    // 加载页面并等待导航完成，确保XHR请求已执行
    tab.navigate_to("https://your-target-page.com")?;
    tab.wait_for_navigation()?;

    // 读取所有捕获到的XHR URL
    let urls = xhr_urls.lock().unwrap();
    println!("外部获取的所有XHR URLs: {:?}", urls);

    Ok(())
}

注意事项 #

• 调用lock()获取Mutex锁时要注意避免死锁，确保闭包内的锁持有时间尽可能短
• 如果页面有多个XHR请求，方法1只会捕获第一个触发的XHR，若要捕获特定URL的请求，可以在拦截器里增加URL判断逻辑

内容的提问来源于stack exchange，提问作者Quintessa