MATLAB中使用randsample采样大n值时如何避免内存不足？

问题根源 #

你遇到的核心问题是randsample的无放回抽样实现逻辑不适合n远大于m的场景：它会创建一个长度为n的标记数组（就是报错里的x = zeros(1,n)）来跟踪哪些元素已被抽取。你的n≈6.89×10¹⁰，这个数组需要500多GB内存，显然不可能在常规机器上创建，直接触发了内存上限报错。

可行解决方法 #

因为你的m=10⁶远小于n（m/n≈1.45×10⁻⁵），重复抽样的概率极低，我们可以用拒绝抽样+去重的思路，完全避开创建超大数组的需求：

方法1：基于哈希表的拒绝抽样

用containers.Map来记录已经抽到的元素，每次生成有放回的随机数，只保留未出现过的，直到凑够m个唯一值。代码示例：

p = 13^5;
n = p*(p-1)/2;
m = 1e6;

samples = zeros(1, m);
unique_count = 0;
% 用哈希表存储已抽取的数，查询速度快
seen = containers.Map('KeyType','double','ValueType','logical');

while unique_count < m
    % 每次批量生成随机数，减少循环次数（这里一次生成1000个，可根据机器调整）
    batch = randi(n, 1, 1000);
    for num = batch
        if ~isKey(seen, num)
            seen(num) = true;
            unique_count = unique_count + 1;
            samples(unique_count) = num;
            if unique_count == m
                break;
            end
        end
    end
end

这个方法的优势是内存占用极低（只需要存储10⁶个键值对），而且因为重复概率几乎可以忽略，运行速度非常快。

方法2：利用MATLAB的randi+unique批量处理

如果觉得哈希表的循环麻烦，也可以批量生成足够多的随机数，然后去重后取前m个：

p = 13^5;
n = p*(p-1)/2;
m = 1e6;

samples = [];
while length(samples) < m
    % 生成比需要量多20%的随机数，覆盖可能的重复
    batch = randi(n, 1, round(m*1.2));
    samples = unique([samples, batch]);
    % 截断到不超过m，避免内存浪费
    if length(samples) > m
        samples = samples(1:m);
    end
end

这个方法代码更简洁，适合MATLAB的向量化操作习惯，同样因为重复率极低，只需要1-2次批量生成就能凑够m个唯一值。

注意事项 #

• 不要尝试用randperm(n, m)，它的底层实现和randsample类似，同样会创建超大数组，导致相同的内存报错。
• 如果你的m和n差距不大（比如m接近n的10%），拒绝抽样的效率会下降，但你的场景下m远小于n，这两种方法都是最优选择。

内容的提问来源于stack exchange，提问作者Star