Windows下摄像头JPEG数据流硬盘存储性能异常排查与优化

背景与问题 #

我们的应用需要将摄像头数据流存储至硬盘，因CPU核心已被计算任务完全占用，故采用nvjpeg将每帧图像保存为独立的.jpeg文件。运行一段时间后硬盘占用率达到100%，停止应用后仍会持续处于写入状态。经检测，该HDD的最大读写速度为100Mb/sec，而我们的.jpeg文件仅需60Mb/sec的写入速度，因此改用重叠（Overlapped）与无缓冲（No-Buffering）模式编写代码：

HANDLE hfile = CreateFileW(fileName, GENERIC_WRITE, 0, NULL, CREATE_ALWAYS, 
    FILE_ATTRIBUTE_NORMAL | FILE_FLAG_NO_BUFFERING | FILE_FLAG_OVERLAPPED, NULL);
FILE_END_OF_FILE_INFO eofi;
eofi.EndOfFile.QuadPart = dim;
SetFileInformationByHandle(hfile, FileEndOfFileInfo, &eofi, sizeof(FILE_END_OF_FILE_INFO));
DWORD d = (DWORD)dim;
DWORD unA = d & 511;
if (unA) d += 512 - unA;
::WriteFile(hfile, buff, d, NULL, &overlapped);
DWORD n = 0;
while(n<d) GetOverlappedResult(hfile, &overlapped, &n, TRUE);
CloseHandle(hfile);

但问题仍未解决，出现了1Mb/sec的速度峰值，最终硬盘占用率仍会达到100%。请问这些速度峰值的成因是什么？如何实现最佳存储性能？

速度峰值的成因 #

• 同步等待废掉了重叠IO的优势：代码里虽然启用了FILE_FLAG_OVERLAPPED，但调用WriteFile后立刻用GetOverlappedResult并传入TRUE阻塞等待，等于把异步IO又变回了同步执行。每帧都要等写入完成才处理下一个，硬盘无法连续高效运转，时不时进入空闲状态，再次启动写入时需要额外的寻道、磁盘旋转等待时间，直接表现为低速峰值。
• 小文件随机写入拖垮了HDD性能：HDD的随机写入性能远低于连续写入，每帧存一个独立的.jpeg小文件，意味着每创建一个文件都要修改目录、更新文件分配表，这些随机操作的开销远大于文件内容写入的开销。就算做了512字节对齐，频繁的小文件写入还是会让磁盘一直处于寻道状态，直接拉满硬盘占用率。另外，对齐后额外写入的空字节也在浪费磁盘带宽。
• 停止应用后持续写入的根源：之前的写法可能导致系统缓存积压大量待写入数据，即便应用停止，系统后台仍会逐步刷盘；改用无缓冲模式后，小文件的写入队列早已排满，应用停止后磁盘仍需处理剩余队列任务。

实现最佳存储性能的方案 #

1. 合并小文件，用连续写入替代随机写入 #

HDD连续写入性能比随机写入高几个量级，建议把多帧图像打包成一个大文件存储：

• 自定义简单容器格式即可，比如每帧开头存储帧大小、时间戳等元数据，后续读取时按元数据解析每帧内容。
• 这种方式能将大量随机操作（创建文件、目录更新）转化为连续写入，彻底消除磁盘寻道的性能瓶颈，充分利用HDD的连续写入带宽。

2. 正确使用重叠IO，实现异步批量写入 #

• 不要每帧都等待写入完成，维护一个写入任务队列，同时发起多个异步写入请求，让磁盘始终处于忙碌状态，避免空闲后的启动开销。
• 无缓冲模式下必须满足缓冲区地址、写入大小均为磁盘扇区大小的整数倍，建议调用GetDiskFreeSpace获取实际扇区大小来做对齐，避免因对齐错误触发额外系统开销。

3. 优化预分配与对齐逻辑，减少冗余开销 #

• 单帧小文件预分配大小完全没必要，反而增加额外开销；如果采用合并大文件的方式，预分配连续存储空间可减少文件碎片化，提升后续写入效率。
• 对齐时不要额外写入空字节，要么将缓冲区填充至对齐长度，要么调整实际写入数据刚好匹配对齐尺寸，避免浪费磁盘带宽。

4. 控制写入速率，保持平稳负载 #

• 理论写入需求是60Mb/sec，但加上文件系统开销，实际磁盘负载可能更高。统计一段时间内的写入量，动态调整帧的写入频率，避免磁盘队列积压过多任务——HDD的平稳写入效率远高于间歇性突发写入。

5. 若必须保留单帧文件结构，优化目录与文件系统 #

• 将所有文件集中存储在同一目录下，避免多级目录的频繁更新；或开启NTFS的大文件记录模式，使用更适合小文件的文件系统。但此方案的性能提升远不如合并文件明显。

内容的提问来源于stack exchange，提问作者Perry