读取大量文件时触发Segfault，求排查倒排索引创建代码问题

看起来你在构建倒排索引处理大量文件时碰到了段错误，这在文件遍历和文本处理场景里很常见。结合你给出的代码片段，我整理了几个核心排查方向和修复建议：

1. 目录遍历的细节漏洞 #

你代码里用到了DIR * dir;和未写完的stru...（应该是struct dirent相关操作），这部分是段错误的高发区：

• 未检查目录打开结果：如果datasetPath不存在、权限不足，opendir会返回NULL，后续直接调用readdir会立刻触发段错误。
• 未跳过特殊目录：遍历目录时会读到.和..，如果直接把它们当成文件处理，拼接路径后会导致无效文件访问。
• 未关闭目录句柄：虽然不会直接崩溃，但大量遍历后可能引发资源泄漏，间接导致内存异常。

修复后的目录遍历代码可以参考：

DIR* dir = opendir(datasetPath.c_str());
if (!dir) {
    perror("Failed to open target directory");
    return;
}

struct dirent* entry;
while ((entry = readdir(dir)) != nullptr) {
    // 跳过当前目录和父目录
    if (strcmp(entry->d_name, ".") == 0 || strcmp(entry->d_name, "..") == 0) {
        continue;
    }
    // 拼接完整文件路径（注意加路径分隔符避免拼接错误）
    std::string fullFilePath = datasetPath + "/" + entry->d_name;
    // 后续处理文件...
}

closedir(dir); // 务必记得关闭目录句柄

2. 文件读取的边界检查缺失 #

处理文件时如果忽略流状态检查，很容易访问无效内存：

• 未检查文件是否成功打开：如果某个文件损坏、权限不足，infile.open()会失败，后续的读取操作会访问无效的流对象，触发段错误。
• 大文件一次性加载风险：如果直接把整个大文件读入std::string text，当文件过大时可能耗尽内存，进而引发崩溃。建议逐行读取处理。

修复后的文件读取逻辑：

infile.open(fullFilePath);
if (!infile.is_open()) {
    std::cerr << "Skipping unopenable file: " << fullFilePath << std::endl;
    continue;
}

// 逐行读取，避免一次性加载大文件
std::string line;
while (std::getline(infile, line)) {
    // 在这里处理每行的单词分割逻辑
}

infile.close();

3. 单词分割的越界问题 #

你的isWhiteSpace方法用于分割单词，这里要注意两个边界场景：

• 连续空白字符：如果文本里有多个连续空格、制表符，可能会生成空字符串，后续存入invertedIndex时虽然不会直接崩溃，但可能引发其他逻辑问题，也可能在处理空字符串时出现意外。
• 文本末尾的空白：处理到字符串最后一个字符时，要确保不会越界访问text[i]，比如循环条件应该是i < textLen而不是i <= textLen。

4. 内存占用过高导致崩溃 #

当处理大量文件时，std::map<std::string, std::set<int>> invertedIndex会持续占用内存，如果文件数量极多或者词汇量巨大，可能会耗尽系统内存，触发OOM（内存不足），表现为段错误。

优化建议：

• 分批写入磁盘：每处理一定数量的文件（比如100个），就调用writeInvertedIndex把当前索引写入磁盘，然后清空invertedIndex，释放内存。
• 替换高效数据结构：用std::unordered_map代替std::map（平均查找效率更高，内存布局更紧凑）；如果不需要自动去重文件索引，用std::vector<int>代替std::set<int>能节省不少内存。

5. 用调试工具精准定位 #

如果上面的建议还没解决问题，用调试工具直接定位崩溃点是最快的方式：

• 用gdb调试：编译时加上-g参数生成调试信息，然后运行gdb ./your_program，输入run启动程序，崩溃后输入bt查看调用栈，就能知道崩溃发生在哪个函数的哪一行。
• 启用编译器警告：编译时加上-Wall -Wextra，编译器会帮你找出未初始化变量、类型不匹配等潜在问题。

内容的提问来源于stack exchange，提问作者skluzada