Java中存储0~600亿范围大整数集合的性能优化咨询

1 超大文件随机读写优化方案 #

你当前实现性能差的核心原因是每次操作仅读写1字节，且每次都发起独立的IO调用，完全浪费了磁盘IO的带宽和系统缓存能力。优化方向如下：

• 优先使用FileChannel.map()将文件映射为内存映射缓冲区(MappedByteBuffer)，映射后操作文件和操作普通内存数组几乎没有区别，底层由操作系统自动处理页缓存、换页逻辑，比手动调用read()/write()性能高1~2个数量级，7.5GB（600亿位）的文件完全支持映射，无需担心内存不足。
• 不要每次操作都分配1字节的ByteBuffer，复用缓冲区或直接操作映射后的内存区域，减少对象创建和GC开销。
• 你的add()方法目前是读-改-写两次IO，用内存映射后直接在缓冲区上做位运算即可，无需显式调用读写接口。

参考优化后的核心代码：

public class MappedFileSet {
    private final long U;
    private final MappedByteBuffer buffer;

    public MappedFileSet(long u, String fn) throws IOException {
        U = u;
        long fileSize = u / 8 + 1;
        try (RandomAccessFile raf = new RandomAccessFile(fn, "rw")) {
            raf.setLength(fileSize);
            buffer = raf.getChannel().map(FileChannel.MapMode.READ_WRITE, 0, fileSize);
        }
    }

    public void add(long v) {
        if (v < 0 || v >= U) throw new RuntimeException(v + " out of range");
        long idx = v / 8;
        int bit = (int) (v % 8);
        buffer.put((int) idx, (byte) (buffer.get((int) idx) | (1 << bit)));
    }

    public boolean has(long v) {
        if (v < 0 || v >= U) return false;
        long idx = v / 8;
        int bit = (int) (v % 8);
        return ((buffer.get((int) idx) >> bit) & 1) != 0;
    }
}

用这个实现测试，20亿范围的查询耗时会从3秒降到百毫秒级别，接近内存数组的性能，且范围扩大到600亿时耗时不会出现数量级上涨。

2 更优的大整数集合存储方案 #

针对你只增不删、最终全量覆盖的场景，有比普通位图性能高很多的成熟方案：

• Roaring Bitmap：这是目前工业界广泛使用的压缩位图实现，Java有成熟的开源实现。它会自动根据数据稀疏程度切换存储模式：稀疏时用有序数组存整数，密集时切换为位图存储，插入、查询性能都远高于你手动实现的磁盘位图，600亿范围的场景下，哪怕是半满状态，内存占用也远低于7.5GB，完全可以放在内存中操作，避免磁盘IO开销。
• 分块内存BitSet：Java原生的BitSet最多支持2^31-1位（约21亿），你可以自己实现分块BitSet，把600亿的范围分成多个21亿位的块，按需加载块到内存，性能也远高于磁盘随机IO。

内容的提问来源于stack exchange，提问作者coolcomputery