迁移至tokio_postgres时遇future跨线程安全错误的解决

问题背景 #

原本基于同步postgres的代码运行正常，迁移到tokio_postgres异步环境后，使用spawn_blocking处理scraper::Html类型时，先后触发以下错误：

• "runtime无法在非阻塞上下文drop"
• "Cell无法跨线程安全共享"
• "future无法跨线程安全发送"

原因分析 #

排查后确认：scraper::Html类型未实现Send和Sync trait，而Tokio的spawn_blocking要求传入的闭包及捕获的变量必须满足线程安全（即实现Send），同时异步任务的调度也依赖Send特性，这直接导致了跨线程安全相关的报错。

解决方案 #

核心思路是避免直接在spawn_blocking闭包中捕获或持有scraper::Html实例，通过消息传递的方式将需要处理的原始数据（比如HTML字符串）传递到阻塞任务中，在任务内部完成scraper::Html的创建和处理，最后将处理结果传回异步上下文。

同时调整spawn_blocking的使用逻辑：不在闭包中捕获外部的Html对象，而是传入可安全跨线程传递的原始数据。

代码示例 #

错误写法（触发跨线程安全报错） #

use scraper::Html;
use tokio;

#[tokio::main]
async fn main() {
    let html_str = "<html><body>...</body></html>";
    let html = Html::parse_document(html_str);
    
    // 直接在spawn_blocking中捕获Html实例，触发错误
    let handle = tokio::task::spawn_blocking(move || {
        // 处理html的逻辑
        html.select(...)
    });
    
    handle.await.unwrap();
}

正确写法（消息传递+调整spawn_blocking使用） #

use scraper::{Html, Selector};
use tokio;

#[tokio::main]
async fn main() {
    let html_str = "<html><body><h1>Test</h1></body></html>";
    
    // 传递原始字符串到spawn_blocking，在任务内部创建Html实例
    let handle = tokio::task::spawn_blocking(move || {
        let html = Html::parse_document(html_str);
        let selector = Selector::parse("h1").unwrap();
        // 处理逻辑，返回结果
        html.select(&selector).map(|e| e.text().collect::<String>()).collect::<Vec<_>>()
    });
    
    // 等待阻塞任务完成，获取结果
    let results = handle.await.unwrap();
    println!("{:?}", results);
}

这种写法中，只有String类型（实现了Send）被传递到阻塞任务，Html实例完全在阻塞任务内部创建和使用，不会跨线程传递，从而避免了线程安全相关的报错。

内容的提问来源于stack exchange，提问作者a-gradina