JupyterLab加载大量Monte Carlo链时内核重启问题求助

你的判断完全正确。我们可以算一笔账：每个形状为(500000,150)的数组，如果是默认的float64类型，单个数组的内存占用是 500000 * 150 * 8 = 600,000,000 字节 ≈ 572MB。加载5个的话总占用≈2.86GB，加载到第6个时总占用就超过3GB，再加上Jupyter内核本身、系统进程的内存占用，很容易触发内存耗尽，导致内核被系统强制终止重启。

解决办法 #

1. 改用二进制格式存储/加载（最推荐） #

np.loadtxt是文本格式解析，速度慢且内存效率低，换成numpy原生的.npy二进制格式，加载速度快，内存占用和原数组一致：

# 先一次性把txt转成npy（只需要执行一次）
import numpy as np
for i in range(10):
    chain = np.loadtxt(f'my_chain_{i}.txt')
    np.save(f'my_chain_{i}.npy', chain)

# 后续加载用np.load，速度快且稳定
chains = []
for i in range(10):
    chain = np.load(f'my_chain_{i}.npy')
    chains.append(chain)

2. 按需加载，避免一次性占用全部内存 #

如果不需要同时操作所有链，处理完一个就释放内存，只保留结果：

import numpy as np
import gc

results = []
for i in range(10):
    # 加载单个链
    chain = np.loadtxt(f'my_chain_{i}.txt')
    # 在这里执行你的计算逻辑，比如求均值、分位数等
    chain_result = chain.mean(axis=0)
    results.append(chain_result)
    # 释放当前链的内存
    del chain
    gc.collect()  # 手动触发垃圾回收

3. 使用内存映射，延迟加载数据 #

用np.memmap将文件映射为内存数组，仅在访问数据时从磁盘读取，几乎不占用内存：

import numpy as np

chains = []
for i in range(10):
    # 根据你的txt文件实际格式调整dtype和分隔符，这里假设是float64、空格分隔
    chain = np.memmap(
        f'my_chain_{i}.txt',
        dtype='float64',
        mode='r',
        shape=(500000, 150),
        delimiter=' '  # 如果是逗号分隔就改成','
    )
    chains.append(chain)

# 使用方式和普通numpy数组完全一致，比如取某一行：chain[0]

4. 降低数据精度 #

如果业务场景允许，将数组转换为更低精度的类型（比如float32），直接减半内存占用：

import numpy as np

chains = []
for i in range(10):
    # 加载后转成float32
    chain = np.loadtxt(f'my_chain_{i}.txt').astype('float32')
    chains.append(chain)

5. 扩充可用内存 #

如果是本地机器，关闭后台占用内存的程序（比如浏览器、视频软件）；如果是云服务器，申请更大内存的实例。

内容的提问来源于stack exchange，提问作者user1551817