如何在C++ CTPL线程池中获取线程返回的局部变量？

1. 修正原函数的线程安全问题 #

原函数直接写入日志会存在多线程竞态，需添加互斥锁保护日志操作；同时调整函数职责，聚焦单文件搜索+线程ID日志写入，返回该文件的搜索结果。

#include <CTPL/ctpl_stl.h>
#include <filesystem>
#include <vector>
#include <fstream>
#include <mutex>
#include <thread>

namespace fs = std::filesystem;

// 全局互斥锁，保证日志写入线程安全
std::mutex log_mutex;

// 单文件搜索函数：返回该文件内的关键词位置，同时写入带线程ID的日志
std::vector<int> grep_func(fs::path file_path, std::string search_str, std::string logfname) {
    std::vector<int> positions;
    // 获取当前线程ID
    auto thread_id = std::this_thread::get_id();

    // 线程安全写入日志
    std::lock_guard<std::mutex> lock(log_mutex);
    std::ofstream log_file(logfname, std::ios::app);
    if (log_file.is_open()) {
        log_file << "线程ID: " << thread_id << " 处理文件: " << file_path << "\n";
        log_file.close();
    }

    // 实际搜索逻辑（替换为你的实现，示例存储匹配行号）
    std::ifstream txt_file(file_path);
    if (txt_file.is_open()) {
        std::string line;
        int line_num = 0;
        while (std::getline(txt_file, line)) {
            line_num++;
            size_t pos = line.find(search_str);
            while (pos != std::string::npos) {
                positions.push_back(line_num);
                pos = line.find(search_str, pos + 1);
            }
        }
        txt_file.close();
    }

    return positions;
}

2. 目录遍历与任务拆分 #

实现类似grep -r的递归搜索，先遍历目标目录下的所有常规文件，将每个文件作为独立任务提交给线程池：

// 递归遍历目录，获取所有待处理文件列表
std::vector<fs::path> get_all_files(const fs::path& dir) {
    std::vector<fs::path> files;
    for (const auto& entry : fs::recursive_directory_iterator(dir)) {
        if (entry.is_regular_file()) {
            // 可添加扩展名过滤，比如仅处理.txt文件：
            // if (entry.path().extension() == ".txt") {
                files.push_back(entry.path());
            // }
        }
    }
    return files;
}

3. CTPL线程池调用与结果收集 #

通过CTPL提交任务，用std::future接收每个任务的返回结果，最后汇总所有结果写入指定文件：

int main(int argc, char* argv[]) {
    // 命令行参数初始化（需完善参数解析逻辑）
    std::string search_str = "";
    fs::path dir_path = ".";
    std::string log_file = "grepx.log";
    std::string result_file = "grepx_result.txt";
    int thread_count = std::thread::hardware_concurrency(); // 默认用CPU核心数

    // 补充参数解析：用getopt库处理-d、-l、-r、-t等参数，此处省略具体实现

    // 初始化线程池
    ctpl::thread_pool pool(thread_count);

    // 获取所有待处理文件
    auto files = get_all_files(dir_path);

    // 存储所有任务的future，用于后续收集结果
    std::vector<std::future<std::vector<int>>> futures;

    // 提交任务到线程池
    for (const auto& file : files) {
        futures.emplace_back(
            pool.push([file, search_str, log_file](int /* CTPL内部线程索引，可选使用 */) {
                return grep_func(file, search_str, log_file);
            })
        );
    }

    // 收集结果并写入结果文件
    std::ofstream result_out(result_file);
    if (result_out.is_open()) {
        for (size_t i = 0; i < futures.size(); ++i) {
            auto positions = futures[i].get();
            result_out << "文件: " << files[i] << "\n";
            if (positions.empty()) {
                result_out << "  未找到匹配\n";
            } else {
                result_out << "  匹配位置（行号）: ";
                for (int pos : positions) {
                    result_out << pos << " ";
                }
                result_out << "\n";
            }
        }
        result_out.close();
    }

    return 0;
}

4. 关键注意事项 #

• 线程安全：必须用互斥锁保护日志写入，避免多线程同时操作导致日志错乱。
• 任务粒度：以单个文件为任务单位，平衡线程池负载；若文件过大，可拆分为更小的块处理。
• 参数解析：需完善main中的参数解析逻辑，使用getopt或第三方库处理命令行参数。
• 异常处理：添加文件打开失败、目录不存在等异常捕获，避免程序崩溃。
• CTPL线程ID：CTPL的push回调会传入内部线程索引（从0开始），可替代std::this_thread::get_id()使用。

5. 编译与运行 #

编译时需链接线程库，并指定CTPL头文件路径：

g++ -std=c++17 grepx.cpp -o grepx -pthread -I/path/to/ctpl

运行示例：

./grepx "hello" -d ./test_dir -l search.log -r result.txt -t 4

内容的提问来源于stack exchange，提问作者persona