我非常理解你处理超大规模3D体数据时遇到的内存管理困境——自己手动实现的分页机制虽然适配业务场景但维护成本高，换成内存映射文件后却踩了系统内存耗尽的大坑。结合Windows内存管理的底层逻辑，我给你几个针对性的解决方案：

1. 按需映射切片视图，避免一次性映射整个文件 #

内存映射文件默认会尽可能将映射页保留在RAM中，直到系统面临极端内存压力才会换出。如果你一次性映射整个20000切片的大文件，持续访问新切片时，系统来不及回收旧切片的内存，必然导致内存线性增长。

解决思路是只映射当前需要处理的单个（或小批量）切片对应的文件区域，处理完成后立即释放该映射视图：

// 伪代码示例：按需映射单个切片
using (var mmf = MemoryMappedFile.CreateFromFile("your-data-file.bin"))
{
    foreach (var sliceIndex in Enumerable.Range(0, 20000))
    {
        long sliceOffset = sliceIndex * 2048 * 2048 * sizeof(float); // 假设是float类型
        long sliceSize = 2048 * 2048 * sizeof(float);
        
        using (var viewAccessor = mmf.CreateViewAccessor(sliceOffset, sliceSize))
        {
            // 处理当前切片：比如用ReadOnlySpan<T>读取或修改数据
            var sliceSpan = viewAccessor.Span.Slice(0, (int)(sliceSize / sizeof(float))).Cast<float>();
            foreach (ref float value in sliceSpan)
            {
                value += 10;
            }
        } // 释放视图后，系统可立即回收该切片对应的内存页
    }
}

这种方式能让内存占用保持在可控范围，不会出现无限制增长的情况。

2. 结合内存压力监控与主动页管理 #

如果你必须保持整个文件的映射，可以通过主动干预系统的页交换行为，配合内存压力检测来放缓业务进程：

• 监控系统内存压力：通过P/Invoke调用GetPerformanceInfo或GetSystemMemoryInfo获取当前可用RAM、内存使用率等指标，设定一个阈值（比如可用RAM低于总RAM的10%）。
• 主动标记可交换页：对已经处理完成的切片对应的内存区域调用VirtualUnlock，明确告诉系统这些页可以被换出。
• 强制刷脏页到磁盘：调用FlushViewOfFile（对应.NET中ViewAccessor.Flush()）将修改过的页写入磁盘，避免系统延迟刷盘导致内存占用居高不下。
• 暂停业务进程等待交换完成：当检测到内存压力超过阈值时，暂停切片处理循环，定期检查进程的WorkingSetSize（通过GetProcessMemoryInfo获取），直到工作集大小下降到合理范围后再继续。

3. 底层API控制内存映射的页策略 #

如果.NET封装的MemoryMappedFile不够灵活，可以直接使用Windows底层API（P/Invoke）来创建映射，更精细地控制页行为：

• 创建映射时指定PAGE_WRITECOPY保护属性，这样对映射页的写入操作会触发写时复制，不会修改原始文件页，同时系统更容易回收未被修改的页。
• 调用SetProcessWorkingSetSize设置进程工作集的上下限（这是系统提示性参数，但能辅助控制内存占用），比如将上限设为可用RAM的80%，让系统在接近该值时主动换出页。

4. 优化原有自定义分页机制（备选方案） #

你之前手动实现的LRU分页机制其实非常适配业务场景，只是维护成本高。可以通过封装简化这套逻辑：

• 利用.NET的MemoryCache类实现LRU缓存，将切片数据作为缓存项，设置缓存的内存大小限制。当缓存达到阈值时，MemoryCache会自动移除最久未使用的切片，你只需要在移除时将数据刷回磁盘即可。
• 这种方式不需要自己编写线程监控逻辑，利用现成的缓存框架就能实现自适应的内存管理，同时保持原有方案的优势。

关于判断内存管理器是否正在执行交换操作 #

你可以通过以下方式监控：

• 调用GetProcessMemoryInfo获取进程的WorkingSetSize（当前驻留RAM的大小）和PagefileUsage（分页文件占用大小），当WorkingSetSize持续下降且PagefileUsage持续上升时，说明系统正在将页换出到分页文件。
• 更精细的监控可以使用QueryWorkingSet函数获取进程当前驻留的页列表，但该函数使用复杂度较高，适合需要精确控制的场景。

内容的提问来源于stack exchange，提问作者msedi