如何并行优化读取12.2万张负样本图片的耗时易阻塞函数？

先看你当前的代码，处理12万多张图片时用单线程串行加载，再加上不必要的图像显示逻辑，肯定会慢到离谱甚至出现阻塞。下面从性能瓶颈修复和并行处理实现两个方向给你具体的改进方案：

一、先解决最直观的性能拖点 #

1. 立刻移除批量加载时的图像显示逻辑 #

你的showImages分支里的imshow和waitKey(1)是严重的性能杀手——每加载一张图就刷新UI窗口，不仅占用大量UI线程资源，还会因为IO阻塞拖慢整个加载流程。如果只是调试需要，建议只在单张测试时启用，批量加载时直接关闭这个分支：

// 调用时直接传false，或者干脆把这个参数去掉，调试时再临时加
load_images("your_neg_sample_dir", img_lst, false);

2. 优化图像读取的参数与方式 #

根据负样本训练的使用场景，我们可以通过以下方式减少解码时间和内存占用：

• 如果不需要彩色图像，用IMREAD_GRAYSCALE读取灰度图，解码速度和内存占用直接减半：

  Mat img = imread(files[i], IMREAD_GRAYSCALE);
  

• 如果训练不需要原始分辨率，直接读取缩小后的图像，比如IMREAD_REDUCED_COLOR_2（缩小为1/2）、IMREAD_REDUCED_COLOR_4（1/4），这会大幅降低解码和后续处理的开销：

  Mat img = imread(files[i], IMREAD_REDUCED_COLOR_4);
  

• 提前给img_lst预分配内存，避免频繁的vector扩容操作：

  void load_images(const String & dirname, vector<Mat> & img_lst, bool showImages = false) {
      vector<String> files;
      glob(dirname, files);
      // 预分配足够空间，减少内存拷贝开销
      img_lst.reserve(files.size());
      // ... 后续代码
  }
  

3. 简化错误输出逻辑 #

频繁的cout输出也会带来IO开销，建议把无效图片的路径收集起来，最后批量输出，而不是每遇到一张就打印：

vector<String> invalid_files;
// ...
if (img.empty()) {
    invalid_files.push_back(files[i]);
    continue;
}
// ... 加载完成后统一输出
if (!invalid_files.empty()) {
    cout << "发现 " << invalid_files.size() << " 张无效图片：" << endl;
    for (const auto& f : invalid_files) {
        cout << "- " << f << endl;
    }
}

二、实现并行加载（核心优化） #

单线程串行处理12万张图的IO和解码，效率极低。这里推荐用OpenMP实现并行加载，它语法简单，不需要手动管理线程生命周期，能根据CPU核心数自动分配任务。

优化后的并行加载代码（基于OpenMP） #

#include <omp.h>
#include <mutex>

void load_images(const String & dirname, vector<Mat> & img_lst, bool showImages = false) {
    vector<String> files;
    glob(dirname, files);
    img_lst.reserve(files.size());
    
    // 用于线程安全的容器操作
    std::mutex img_mtx;
    vector<String> invalid_files;
    std::mutex invalid_mtx;

    // 启用并行遍历，自动适配CPU核心数
    #pragma omp parallel for
    for (int i = 0; i < static_cast<int>(files.size()); ++i) {
        // 每个线程独立读取图片，避免资源竞争
        Mat img = imread(files[i], IMREAD_GRAYSCALE); // 根据需求调整读取flag
        if (img.empty()) {
            std::lock_guard<std::mutex> lock(invalid_mtx);
            invalid_files.push_back(files[i]);
            continue;
        }

        if (showImages) {
            // 注意：并行下imshow会出现UI冲突，调试时建议关闭并行
            imshow("image", img);
            waitKey(1);
        }

        // 线程安全地将图片加入全局列表
        std::lock_guard<std::mutex> lock(img_mtx);
        img_lst.push_back(img);
    }

    // 批量输出无效图片信息
    if (!invalid_files.empty()) {
        cout << "发现 " << invalid_files.size() << " 张无效图片：" << endl;
        for (const auto& f : invalid_files) {
            cout << "- " << f << endl;
        }
    }
}

并行方案的注意事项 #

1. 编译时需启用OpenMP：GCC编译时加-fopenmp参数，VS编译时在项目属性里开启OpenMP支持。
2. 线程安全问题：多个线程同时向img_lst或invalid_files插入数据时，必须用互斥锁保护，避免数据竞争导致崩溃或数据损坏。
3. UI操作禁用并行：如果必须启用showImages，建议关闭并行，因为多线程调用imshow会导致UI混乱甚至程序崩溃。
4. 内存占用控制：并行加载会同时解码多张图片，内存占用比单线程高，若内存有限，可以指定线程数：#pragma omp parallel for num_threads(4)。

三、额外的进阶优化 #

如果以上方案还不够快，可以试试这些方法：

• 预缓存/预处理图片：把所有图片提前转换成二进制格式（比如直接存储Mat的原始数据），下次加载时直接读取二进制数据，跳过解码步骤，重复训练时能节省大量时间。
• 使用更快的图像解码库：比如用stb_image替代OpenCV的imread，它的解码速度在某些场景下更快，不过需要自己处理格式转换。

内容的提问来源于stack exchange，提问作者Alexandra Tupu