如何高效生成3亿个随机±1的累积和？Python内存优化方案

原方法在处理3000万数据时可行，但3亿级别的数据会因生成完整数组导致内存占用过高（int64类型下，单个数组就占2.4GB，两个数组近5GB），可以通过以下两种思路优化：

方案一：分块计算累积和 #

通过分批次生成随机数并逐步累积，将内存峰值控制在单块数据的大小，避免一次性加载全部数据。

import numpy as np
import matplotlib.pyplot as plt

def generate_cumsum(n, chunk_size=10_000_000):
    total_chunks = n // chunk_size
    remainder = n % chunk_size
    current_sum = 0
    cumsum_blocks = []
    
    # 处理完整分块
    for _ in range(total_chunks):
        # 用randint生成随机数比choice更高效
        chunk = 2 * np.random.randint(0, 2, chunk_size) - 1
        chunk_cumsum = np.cumsum(chunk) + current_sum
        cumsum_blocks.append(chunk_cumsum)
        current_sum = chunk_cumsum[-1]
    
    # 处理剩余数据
    if remainder > 0:
        chunk = 2 * np.random.randint(0, 2, remainder) - 1
        chunk_cumsum = np.cumsum(chunk) + current_sum
        cumsum_blocks.append(chunk_cumsum)
    
    return np.concatenate(cumsum_blocks)

# 使用示例
n = 300_000_000
random_walk = generate_cumsum(n)
plt.plot(random_walk)
plt.show()

说明 #

• 自定义chunk_size控制单批次处理的数据量（推荐1000万~2000万，平衡内存占用和计算效率）
• 用np.random.randint替代np.random.choice提升随机数生成速度
• 内存峰值仅为单块数组的2倍左右（约160MB，当chunk_size=1000万时）

方案二：采样降维（仅用于绘图场景） #

3亿个数据点远超过屏幕分辨率的显示极限，大部分点会重叠无法区分，因此可以通过采样减少数据量，同时保留随机游走的整体趋势。

import numpy as np
import matplotlib.pyplot as plt

def generate_sampled_cumsum(n, sample_interval=1000):
    total_samples = n // sample_interval
    remainder = n % sample_interval
    current_sum = 0
    sampled_values = [0]  # 包含初始点0
    x_coords = [0]
    
    # 按间隔采样
    for i in range(total_samples):
        # 直接计算间隔内的总和，无需保存所有点
        interval_sum = (2 * np.random.randint(0, 2, sample_interval) - 1).sum()
        current_sum += interval_sum
        sampled_values.append(current_sum)
        x_coords.append((i+1)*sample_interval)
    
    # 处理剩余数据
    if remainder > 0:
        interval_sum = (2 * np.random.randint(0, 2, remainder) - 1).sum()
        current_sum += interval_sum
        sampled_values.append(current_sum)
        x_coords.append(n)
    
    return np.array(x_coords), np.array(sampled_values)

# 使用示例
n = 300_000_000
x, sampled_walk = generate_sampled_cumsum(n)
plt.plot(x, sampled_walk)
plt.show()

说明 #

• 自定义sample_interval控制采样间隔（比如每1000个点取一个，仅生成30万个数据点）
• 内存占用可忽略不计，且绘图速度大幅提升
• 可视化效果与完整数据几乎无差异

内容的提问来源于stack exchange，提问作者IBERGUS