基于numpy数组高效生成合成数据的实现方法

要处理百万级的样本生成，矢量化操作是核心关键，Numpy的内置函数完全能满足高效需求，核心思路是先按概率采样索引，再批量转换为独热编码，具体实现如下：

实现步骤 #

1. 批量采样索引：用np.random.choice按给定概率一次性采样所有样本对应的类别索引，这一步是矢量化操作，效率远高于循环生成。
2. 转换为独热编码：利用Numpy的单位矩阵np.eye，通过索引直接提取对应的独热编码行，完成批量转换。

完整代码 #

import numpy as np

# 定义目标概率分布
probs = np.array([0.25, 0.125, 0.125, 0.50])
# 要生成的样本数量（百万级示例）
N = 1_000_000

# 按概率采样类别索引
sampled_indices = np.random.choice(len(probs), size=N, p=probs)

# 批量生成独热编码数组
one_hot_results = np.eye(len(probs))[sampled_indices]

验证采样准确性 #

可以通过统计采样索引的频率，验证结果是否符合预期概率：

# 计算实际采样的概率分布
actual_probs = np.bincount(sampled_indices) / N
print("实际采样概率：", actual_probs)

内存优化提示 #

如果需要生成千万级甚至更大规模的样本，密集格式的独热编码数组会占用较多内存（比如100万×4的float数组约32MB）。若业务场景允许，可改用稀疏矩阵存储，大幅降低内存占用：

from scipy.sparse import csr_matrix

# 转换为稀疏独热编码矩阵
sparse_one_hot = csr_matrix((np.ones(N), (np.arange(N), sampled_indices)), shape=(N, len(probs)))

内容的提问来源于stack exchange，提问作者BiologistAtHome