You need to enable JavaScript to run this app. 基于boost.asio的文件接收服务如何实现缓冲区按大小实时写入磁盘
优惠活动
大模型
产品
解决方案
定价
更多

基于boost.asio的文件接收服务如何实现缓冲区按大小实时写入磁盘

异步实时落盘实现方案

问题根源定位

你当前实现需要收完全部文件才落盘,核心原因通常是这两个:

  • 给读取缓冲区m_buffer分配了和整个文件等大的内存,没有按固定小块读取
  • 误用boost::asio::async_read(会阻塞回调直到填满整个传入缓冲区)替代async_read_some(收到任意字节就触发回调)

核心调整逻辑

要实现累计100KB自动落盘的效果,不需要每次收到数据就写磁盘,只要做这几个改动:

  • 定义固定的落盘阈值 100 * 1024 字节
  • 新增一个「待落盘临时缓冲区」,把每次读到的内容先追加进去
  • 当临时缓冲区大小达到阈值,或者已经收到全部文件内容时,统一把缓冲区内容写入磁盘,之后清空临时缓冲区
  • 增加异常场景处理:传输中断时自动把剩余未刷盘的内容写入磁盘,避免丢数据

具体代码修改

1. 新增Session类成员变量

把原来的大尺寸m_buffer替换成固定阈值大小的读取缓冲,新增待落盘缓冲和阈值常量:

// 100KB落盘阈值
static constexpr size_t FLUSH_BYTES = 100 * 1024;

// 单次异步读取的临时缓冲区,大小和阈值匹配
std::array<char, FLUSH_BYTES> m_readBuf;
// 待落盘的累计内容缓冲,初始化时可reserve(FLUSH_BYTES)避免频繁扩容
std::vector<char> m_pendingWriteBuf;

2. 改写DoReadFileContent逻辑

替换原有函数,新增错误处理、阈值判断、剩余内容刷盘逻辑:

void Session::DoReadFileContent(boost::system::error_code ec, size_t transferred)
{
    // 传输异常处理:中断时把剩余待写内容落盘
    if (ec)
    {
        if (!m_pendingWriteBuf.empty())
        {
            m_outputFile.write(m_pendingWriteBuf.data(), m_pendingWriteBuf.size());
            m_outputFile.flush();
        }
        std::cout << "Transfer failed: " << ec.message() << std::endl;
        return;
    }

    if (transferred == 0)
    {
        return;
    }

    // 把本次读到的内容追加到待落盘缓冲区
    m_pendingWriteBuf.insert(m_pendingWriteBuf.end(),
                             m_readBuf.data(),
                             m_readBuf.data() + transferred);

    // 达到阈值就先落盘
    if (m_pendingWriteBuf.size() >= FLUSH_BYTES)
    {
        m_outputFile.write(m_pendingWriteBuf.data(), m_pendingWriteBuf.size());
        m_pendingWriteBuf.clear();
    }

    // 已经收完全部文件,强制刷入剩余不足100KB的内容
    if (m_outputFile.tellp() + static_cast<std::streamsize>(m_pendingWriteBuf.size())
        >= static_cast<std::streamsize>(m_fileSize))
    {
        if (!m_pendingWriteBuf.empty())
        {
            m_outputFile.write(m_pendingWriteBuf.data(), m_pendingWriteBuf.size());
            m_pendingWriteBuf.clear();
        }
        m_outputFile.flush();
        std::cout << "File received: " << m_fileName << std::endl;
        return;
    }

    // 继续发起下一次异步读
    auto self = shared_from_this();
    m_socket.async_read_some(
        boost::asio::buffer(m_readBuf.data(), m_readBuf.size()),
        [this, self](boost::system::error_code ec, size_t bytes)
        {
            DoReadFileContent(ec, bytes);
        });
}

效果说明

  • 每累计收到100KB内容就会自动写入磁盘,不会等全部收完才写
  • 即使文件大小不是100KB的整数倍,最后剩余的不足100KB的内容也会在接收完成后自动刷盘
  • 减少磁盘IO次数,不会因为收到几KB就写一次导致性能下降
  • 兼容传输中断场景,不会丢失已经收到的内容

内容的提问来源于stack exchange,提问作者user14895313

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.08 17:54:08