Python中针对list of lists结构实现Numpy向量化随机采样的问题
Numpy向量化实现嵌套列表逐行无重复随机采样的方案
核心思路
- 全流程摒弃Python层逐行循环,依靠numpy广播运算、随机数权重排序实现向量化,完全匹配原for循环的采样规则
- 适配场景:输入的
seen_formats为规整结构(所有子列表长度一致),可直接转换为numpy二维数组,与输出二维数组的要求天然匹配
原有尝试的问题根因
np.in1d仅支持一维数组的元素存在性判断,将二维seen_formats传入时会自动展开为一维序列,无法按行区分每个子列表的已见元素范围,也就没法为每个子列表划定独立的可选采样池,结果自然不符合预期。
可复现的向量化实现代码
import numpy as np # 输入转换为numpy数组 list_of_all_items = np.array([1, 2, 3, 4, 12, 21, 23, 42, 93]) seen_formats = np.array([[1, 2, 3, 4], [2, 23, 21, 3], [12, 42, 93, 1]]) # 1. 逐行生成存在性掩码,形状为(子列表总数, 全局元素总数) # 广播比较:判断每个全局元素是否出现在对应行的已见子列表中 in_seen_mask = (list_of_all_items[None, :, None] == seen_formats[:, None, :]).any(axis=-1) # 2. 生成同形状随机数矩阵,将已见元素的权重设为极大值,排除出采样池 rand_vals = np.random.random(size=in_seen_mask.shape) rand_vals[in_seen_mask] = np.inf # 3. 按行排序取前k个位置的全局元素,完成无重复随机采样 # k为单个已见子列表的长度,与原代码“采样长度=len(seen)”的规则完全一致 sample_k = seen_formats.shape[1] selected_indices = np.argsort(rand_vals, axis=1)[:, :sample_k] not_seen_formats = list_of_all_items[selected_indices]
输出示例
运行后得到的not_seen_formats为标准二维数组,每行对应一个子列表的随机采样结果,例如:
array([[21, 93, 23, 42], [12, 1, 93, 4], [ 4, 2, 21, 23]])
所有采样结果均符合规则:仅从全局元素中挑选未出现在对应已见子列表的元素,且为无重复随机样本,与原for循环的逻辑完全等价。当子列表规模较大时,该方案相比Python原生循环的效率会有数量级提升。
内容的提问来源于stack exchange,提问作者Yannik Suhre
相关产品推荐
相关产品推荐

