如何加速文件到Socket的复制？Tokio手动实现性能优化疑问

问题背景 #

在使用Tokio将tokio::fs::File数据复制到tokio::net::TcpStream时，手动实现的读写循环性能远低于Tokio内置的tokio::io::copy或copy_buf方法：

手动实现代码：

let mut buf = [0; 1024];
while let Ok(n) = file.read(&mut buf[..]).await {
    if n == 0 {
        break;
    }
    socket.write(&buf[..n]).await?;
}

更高效的内置方法：

tokio::io::copy(&mut file, &mut socket).await?;

即使使用相同缓冲区大小的copy_buf，性能依然更优：

tokio::io::copy_buf(&mut tokio::io::BufReader::with_capacity(1024, &mut file), &mut socket).await?;

性能差异的核心原因 #

1. 系统调用与异步调度的额外开销
   手动代码中，每一次read和write都要单独触发异步等待，完成后重新进入Tokio调度器，带来频繁的上下文切换开销。而tokio::io::copy内部会尽可能减少调度切换次数，甚至在底层利用操作系统的零拷贝机制（如Linux的sendfile、Windows的TransmitFile），让内核直接在文件描述符与socket之间传输数据，完全跳过用户态的缓冲区拷贝，大幅提升效率。

2. 未处理部分写入的问题
   手动代码没有处理socket.write的部分写入场景：当网络拥塞时，write可能只写入了部分数据就返回，此时代码会直接丢弃剩余数据（不仅存在数据丢失的bug，还会导致更多不必要的read调用）。而内置copy函数会自动重试，直到所有数据写入完成，减少了系统调用的总次数。

3. 缓冲区的低效利用
   手动实现每次读取1KB就立刻发起写入，导致write系统调用过于频繁。而copy_buf搭配BufReader时，会在用户态先缓存数据，攒够一定量后再批量写入，大幅减少系统调用的次数，降低开销。

手动代码的优化方案 #

如果因为特殊需求必须手动实现，可以从以下几点优化：

1. 处理部分写入逻辑
   确保所有读取到的数据都被完整写入socket，避免数据丢失并减少系统调用：

let mut buf = [0; 1024];
while let Ok(n) = file.read(&mut buf[..]).await {
    if n == 0 {
        break;
    }
    let mut written = 0;
    // 循环写入直到所有数据都被发送
    while written < n {
        match socket.write(&buf[written..n]).await {
            Ok(m) => written += m,
            Err(e) => return Err(e),
        }
    }
}

2. 使用缓冲读取减少系统调用
   用BufReader包裹文件，在用户态批量读取数据，减少read系统调用的次数：

use tokio::io::{AsyncReadExt, AsyncWriteExt, BufReader};

let mut reader = BufReader::with_capacity(1024, file);
let mut buf = [0; 1024];
while let Ok(n) = reader.read(&mut buf).await {
    if n == 0 {
        break;
    }
    let mut written = 0;
    while written < n {
        written += socket.write(&buf[written..n]).await?;
    }
}

3. 优先使用内置函数
   除非有定制化的IO处理需求，否则直接使用tokio::io::copy或copy_buf是最优选择——这些函数由Tokio团队深度优化，覆盖了所有边缘场景，性能和可靠性都远高于手动实现。

内容的提问来源于stack exchange，提问作者Bennett