FuturesUnordered是否使用Tokio线程池？并行任务CPU利用率低排查

首先明确：futures库完全可以配合Tokio使用 #

你遇到的单CPU跑满问题，不是futures与Tokio不兼容，而是**FuturesUnordered的运行上下文限制**——如果直接把普通future放进FuturesUnordered并在单个Tokio任务中驱动，所有这些future都会在同一个线程的异步执行器里运行，自然只会占用一个CPU核心。

核心解决思路：将任务提交给Tokio多线程池调度 #

要最大化CPU利用率，你需要把每个独立任务通过tokio::task::spawn提交到Tokio的多线程线程池，然后将spawn返回的JoinHandle（本身是一个future）放进FuturesUnordered中。这样每个任务会由Tokio线程池分配到不同CPU核心执行，FuturesUnordered仅负责监听任务完成事件，一旦有任务结束就立即添加新任务，完全契合你偏好的控制流。

具体实现步骤 #

1. 确保启用Tokio多线程运行时
   在Cargo.toml中配置正确的Tokio特性：

   tokio = { version = "1.0", features = ["full", "multi_thread"] }
   futures = "0.3"
   

   同时在main函数指定多线程运行时：

   #[tokio::main(flavor = "multi_thread", worker_threads = 8)] // worker_threads可指定核心数，默认是CPU逻辑核心数
   async fn main() {
       // ... 你的业务代码
   }
   

2. 修改任务提交方式
   把原本直接放入FuturesUnordered的任务，替换为tokio::task::spawn包装后的JoinHandle：

   use futures::stream::FuturesUnordered;
   use tokio::task;
   
   // 模拟图结构爬取任务（CPU密集型示例）
   async fn crawl_task(node: u32) -> Vec<u32> {
       // 模拟CPU密集计算
       let mut result = Vec::new();
       for i in 0..10000000 {
           let _ = i * i;
       }
       // 返回新的待爬取节点（模拟图的遍历扩展）
       if node < 10 {
           result.push(node + 1);
       }
       result
   }
   
   async fn run_crawler() {
       let mut futures = FuturesUnordered::new();
   
       // 初始化第一批任务
       for node in 0..3 {
           // 关键：用tokio::task::spawn将任务提交到线程池
           futures.push(task::spawn(crawl_task(node)));
       }
   
       while let Some(res) = futures.next().await {
           // 处理spawn任务的返回结果（实际场景建议错误处理，而非直接unwrap）
           let new_nodes = res.unwrap();
           // 立即添加新任务
           for node in new_nodes {
               futures.push(task::spawn(crawl_task(node)));
           }
       }
   }
   

为什么这样能解决CPU利用率问题 #

• tokio::task::spawn会将任务提交到Tokio多线程线程池，线程池默认根据CPU逻辑核心数创建工作线程，每个任务可被调度到不同核心执行。
• FuturesUnordered负责跟踪所有JoinHandle的完成状态，一旦某个任务结束就触发后续逻辑添加新任务，保证线程池始终处于高负载状态，最大化CPU利用率。

额外注意事项 #

• 如果你的任务是IO密集型而非CPU密集型，Tokio的异步机制会自动调度任务，此时即使不spawn也能高效利用CPU；但CPU密集型任务必须通过spawn让线程池分配到不同核心，避免阻塞单个异步执行线程。
• 不要在单个异步任务中执行长时间CPU密集操作，这会阻塞异步执行器的工作线程，这类场景除了spawn，也可使用tokio::task::spawn_blocking处理阻塞式CPU任务。

内容的提问来源于stack exchange，提问作者David Alsh