如何在标准C++中不复制到数组、不用mmap像数组一样读取大文件？

问题描述 #

我有大量大小在100至400MB之间的ASCII文件，希望能像读取数组那样逐字节访问，例如通过if (file[pos] == '\n')这样的方式操作。但有成千上万个这类文件，将每个文件复制到数组中的开销过大。请问是否可以在不显式复制到数组、不使用mmap且仅使用标准C++的前提下，像访问数组一样读取文件？

可以通过封装自定义类，利用标准C++文件流的随机访问能力，模拟数组的下标访问行为，完全不需要把文件内容复制到内存数组，也不依赖mmap。

核心思路 #

标准C++的std::ifstream支持通过seekg()定位到文件任意位置，再通过get()读取单个字节。我们可以封装一个类，重载operator[]，让它内部完成定位和读取操作，对外提供类似数组的访问接口。

基础实现（无缓存） #

如果对性能要求不是极端苛刻，基础版本足够满足需求：

#include <fstream>
#include <stdexcept>

class FileArray {
private:
    std::ifstream file;
    std::streampos file_size;

public:
    // 以二进制模式打开文件，避免文本模式的换行符转换
    FileArray(const std::string& filepath) : file(filepath, std::ios::binary) {
        if (!file.is_open()) {
            throw std::runtime_error("Failed to open file: " + filepath);
        }
        // 预获取文件大小
        file.seekg(0, std::ios::end);
        file_size = file.tellg();
        file.seekg(0, std::ios::beg);
    }

    // 重载[]运算符，实现下标访问
    char operator[](std::streampos pos) {
        if (pos < 0 || pos >= file_size) {
            throw std::out_of_range("FileArray index out of bounds");
        }
        file.seekg(pos);
        return file.get();
    }

    // 获取文件总字节数
    std::streampos size() const {
        return file_size;
    }
};

// 使用示例
int main() {
    try {
        FileArray fa("example.txt");
        if (fa[1024] == '\n') {
            // 自定义处理逻辑
        }
    } catch (const std::exception& e) {
        // 异常处理
    }
    return 0;
}

优化版本（带缓存） #

如果存在大量连续位置的访问，频繁调用seekg()会带来性能损耗。可以加入一块缓存，减少文件定位和读取的次数：

#include <fstream>
#include <stdexcept>
#include <vector>

class CachedFileArray {
private:
    std::ifstream file;
    std::streampos file_size;
    std::vector<char> cache;
    std::streampos cache_start; // 当前缓存的起始字节位置
    static constexpr std::streampos CACHE_SIZE = 64 * 1024; // 64KB缓存，可按需调整

public:
    CachedFileArray(const std::string& filepath) : file(filepath, std::ios::binary), cache(CACHE_SIZE) {
        if (!file.is_open()) {
            throw std::runtime_error("Failed to open file: " + filepath);
        }
        file.seekg(0, std::ios::end);
        file_size = file.tellg();
        file.seekg(0, std::ios::beg);
        cache_start = -CACHE_SIZE; // 初始状态缓存无效
    }

    char operator[](std::streampos pos) {
        if (pos < 0 || pos >= file_size) {
            throw std::out_of_range("CachedFileArray index out of bounds");
        }

        // 检查当前位置是否在缓存范围内，不在则更新缓存
        if (pos < cache_start || pos >= cache_start + CACHE_SIZE) {
            cache_start = (pos / CACHE_SIZE) * CACHE_SIZE;
            file.seekg(cache_start);
            file.read(cache.data(), CACHE_SIZE);
        }

        // 返回缓存中的对应字节
        return cache[pos - cache_start];
    }

    std::streampos size() const {
        return file_size;
    }
};

关键注意事项 #

• 必须以二进制模式打开文件：文本模式下，系统会自动转换换行符（比如Windows下的\r\n转成\n），导致文件实际字节位置和逻辑位置不匹配，直接破坏下标访问的准确性。
• 异常处理：打开文件失败、下标越界等情况要做好异常捕获，避免程序崩溃。
• 缓存大小调整：缓存太大会增加内存占用（毕竟有成千上万个文件），太小则无法有效减少seek操作。64KB到256KB是比较均衡的选择，可根据实际场景调整。

内容的提问来源于stack exchange，提问作者intrigued_66