基于boost.asio的文件接收服务如何实现缓冲区按大小实时写入磁盘
异步实时落盘实现方案
问题根源定位
你当前实现需要收完全部文件才落盘,核心原因通常是这两个:
- 给读取缓冲区
m_buffer分配了和整个文件等大的内存,没有按固定小块读取 - 误用
boost::asio::async_read(会阻塞回调直到填满整个传入缓冲区)替代async_read_some(收到任意字节就触发回调)
核心调整逻辑
要实现累计100KB自动落盘的效果,不需要每次收到数据就写磁盘,只要做这几个改动:
- 定义固定的落盘阈值
100 * 1024 字节 - 新增一个「待落盘临时缓冲区」,把每次读到的内容先追加进去
- 当临时缓冲区大小达到阈值,或者已经收到全部文件内容时,统一把缓冲区内容写入磁盘,之后清空临时缓冲区
- 增加异常场景处理:传输中断时自动把剩余未刷盘的内容写入磁盘,避免丢数据
具体代码修改
1. 新增Session类成员变量
把原来的大尺寸m_buffer替换成固定阈值大小的读取缓冲,新增待落盘缓冲和阈值常量:
// 100KB落盘阈值 static constexpr size_t FLUSH_BYTES = 100 * 1024; // 单次异步读取的临时缓冲区,大小和阈值匹配 std::array<char, FLUSH_BYTES> m_readBuf; // 待落盘的累计内容缓冲,初始化时可reserve(FLUSH_BYTES)避免频繁扩容 std::vector<char> m_pendingWriteBuf;
2. 改写DoReadFileContent逻辑
替换原有函数,新增错误处理、阈值判断、剩余内容刷盘逻辑:
void Session::DoReadFileContent(boost::system::error_code ec, size_t transferred) { // 传输异常处理:中断时把剩余待写内容落盘 if (ec) { if (!m_pendingWriteBuf.empty()) { m_outputFile.write(m_pendingWriteBuf.data(), m_pendingWriteBuf.size()); m_outputFile.flush(); } std::cout << "Transfer failed: " << ec.message() << std::endl; return; } if (transferred == 0) { return; } // 把本次读到的内容追加到待落盘缓冲区 m_pendingWriteBuf.insert(m_pendingWriteBuf.end(), m_readBuf.data(), m_readBuf.data() + transferred); // 达到阈值就先落盘 if (m_pendingWriteBuf.size() >= FLUSH_BYTES) { m_outputFile.write(m_pendingWriteBuf.data(), m_pendingWriteBuf.size()); m_pendingWriteBuf.clear(); } // 已经收完全部文件,强制刷入剩余不足100KB的内容 if (m_outputFile.tellp() + static_cast<std::streamsize>(m_pendingWriteBuf.size()) >= static_cast<std::streamsize>(m_fileSize)) { if (!m_pendingWriteBuf.empty()) { m_outputFile.write(m_pendingWriteBuf.data(), m_pendingWriteBuf.size()); m_pendingWriteBuf.clear(); } m_outputFile.flush(); std::cout << "File received: " << m_fileName << std::endl; return; } // 继续发起下一次异步读 auto self = shared_from_this(); m_socket.async_read_some( boost::asio::buffer(m_readBuf.data(), m_readBuf.size()), [this, self](boost::system::error_code ec, size_t bytes) { DoReadFileContent(ec, bytes); }); }
效果说明
- 每累计收到100KB内容就会自动写入磁盘,不会等全部收完才写
- 即使文件大小不是100KB的整数倍,最后剩余的不足100KB的内容也会在接收完成后自动刷盘
- 减少磁盘IO次数,不会因为收到几KB就写一次导致性能下降
- 兼容传输中断场景,不会丢失已经收到的内容
内容的提问来源于stack exchange,提问作者user14895313
相关产品推荐
相关产品推荐

