C++多线程操作全局vector可行性及高性能优化方案咨询

你这段代码有几个新手写多线程C++非常容易踩的致命问题，现在能运行属于巧合：

• 存在未定义行为：两个线程并发修改全局vector的push_back操作没有任何同步保护，会触发数据竞争，轻则数据丢失、容器内存损坏，重则直接程序崩溃。另外代码里的pushback是笔误，标准库接口是push_back。
• 全局变量强耦合：工作函数和全局状态绑定，无法复用，也不方便后续扩展线程数、修改业务逻辑。
• 性能隐患：如果后续直接给全局vector加锁，两个线程会频繁争抢同一把锁，多核场景下并行收益会被锁开销吃掉大半。
• 逻辑隐患：std::sort对vector<vector<float>>的默认排序规则是逐元素字典序比较，如果你需要按子vector的特定字段排序，默认逻辑很可能不符合业务要求。

如果不想大幅调整代码结构，先解决正确性问题，按以下方式修改：

• 去掉全局变量，把结果容器放到main函数作为局部变量，通过引用传递给工作线程
• 引入std::mutex保护容器写入操作，避免数据竞争
• 给线程传引用参数时必须用std::ref包裹，否则线程会拷贝一份容器，写入的结果无法传回主线程
• 自定义排序比较函数，匹配业务排序规则

这个版本的缺点是锁竞争会随线程数增加快速拉高开销，只适合线程数少、性能要求不高的场景。

要跑到最高性能，核心思路是完全消除多线程对共享资源的竞争，实现方式如下：

• 每个工作线程持有独立的局部结果缓冲区，全程无锁写入，完全没有同步开销
• 每个线程完成计算后，先对自己的局部缓冲区做排序
• 主线程等待所有线程完成后，用std::merge对多个有序的局部缓冲区做归并，得到全局有序的最终结果，比把所有数据堆在一起再全量排序的效率高30%以上（数据量越大收益越明显）
• 提前给最终结果容器预分配内存，避免vector动态扩容的拷贝开销
• 内存中得到完整有序结果后，一次性顺序写入文件，比多线程抢写文件的IO效率高一个数量级

参考实现代码：

#include <vector>
#include <thread>
#include <algorithm>
#include <utility>

// 自定义排序规则：按每个子vector的第一个元素升序排列，根据实际业务调整
bool cmpEntry(const std::vector<float>& a, const std::vector<float>& b) {
    return a[0] < b[0];
}

// 线程工作函数：写入线程本地的独立缓冲区，无锁
void worker(std::vector<std::vector<float>>& local_buf /*, 其他业务参数*/) {
    // 提前预留本地缓冲区空间，减少扩容开销，根据单线程数据量调整
    local_buf.reserve(1024);
    // 执行业务计算
    for (/* 你的计算循环 */) {
        std::vector<float> entry;
        // 填充entry内容
        local_buf.push_back(std::move(entry)); // 用移动语义避免深拷贝
    }
    // 本地先排序
    std::sort(local_buf.begin(), local_buf.end(), cmpEntry);
}

int main() {
    std::vector<std::vector<float>> buf1, buf2;
    // 启动线程，传引用必须用std::ref包裹
    std::thread t1(worker, std::ref(buf1) /*, 传入业务参数*/);
    std::thread t2(worker, std::ref(buf2) /*, 传入业务参数*/);

    // 等待线程执行完成
    t1.join();
    t2.join();

    // 预分配最终结果内存，避免扩容
    std::vector<std::vector<float>> final_res;
    final_res.reserve(buf1.size() + buf2.size());
    // 两路归并得到全局有序结果
    std::merge(buf1.begin(), buf1.end(), buf2.begin(), buf2.end(),
               std::back_inserter(final_res), cmpEntry);

    // 顺序写入文件
    // writeDataToFile(final_res, "filename.dat");
    return 0;
}

额外性能优化提示 #

• 如果每个条目的长度是固定的，不要用vector<vector<float>>，改成一维连续数组存储（比如固定N个float一条，就用vector<float>按顺序存），连续内存的缓存命中率远高于嵌套vector，排序和写入速度会有明显提升。
• 线程数不要超过CPU物理核心数，多余的线程只会增加上下文切换开销，不会提升性能。
• 数据量极大的场景，可以给本地缓冲区加个简单的内存池，避免频繁分配小块内存的开销。

内容的提问来源于stack exchange，提问作者Peter Daniel Johannsen