You need to enable JavaScript to run this app. Python中针对list of lists结构实现Numpy向量化随机采样的问题
优惠活动
大模型
产品
解决方案
定价
更多

Python中针对list of lists结构实现Numpy向量化随机采样的问题

Numpy向量化实现嵌套列表逐行无重复随机采样的方案

核心思路

  • 全流程摒弃Python层逐行循环,依靠numpy广播运算、随机数权重排序实现向量化,完全匹配原for循环的采样规则
  • 适配场景:输入的seen_formats为规整结构(所有子列表长度一致),可直接转换为numpy二维数组,与输出二维数组的要求天然匹配

原有尝试的问题根因

np.in1d仅支持一维数组的元素存在性判断,将二维seen_formats传入时会自动展开为一维序列,无法按行区分每个子列表的已见元素范围,也就没法为每个子列表划定独立的可选采样池,结果自然不符合预期。

可复现的向量化实现代码

import numpy as np

# 输入转换为numpy数组
list_of_all_items = np.array([1, 2, 3, 4, 12, 21, 23, 42, 93])
seen_formats = np.array([[1, 2, 3, 4], [2, 23, 21, 3], [12, 42, 93, 1]])

# 1. 逐行生成存在性掩码,形状为(子列表总数, 全局元素总数)
# 广播比较:判断每个全局元素是否出现在对应行的已见子列表中
in_seen_mask = (list_of_all_items[None, :, None] == seen_formats[:, None, :]).any(axis=-1)

# 2. 生成同形状随机数矩阵,将已见元素的权重设为极大值,排除出采样池
rand_vals = np.random.random(size=in_seen_mask.shape)
rand_vals[in_seen_mask] = np.inf

# 3. 按行排序取前k个位置的全局元素,完成无重复随机采样
# k为单个已见子列表的长度,与原代码“采样长度=len(seen)”的规则完全一致
sample_k = seen_formats.shape[1]
selected_indices = np.argsort(rand_vals, axis=1)[:, :sample_k]
not_seen_formats = list_of_all_items[selected_indices]

输出示例

运行后得到的not_seen_formats为标准二维数组,每行对应一个子列表的随机采样结果,例如:

array([[21, 93, 23, 42],
       [12,  1, 93,  4],
       [ 4,  2, 21, 23]])

所有采样结果均符合规则:仅从全局元素中挑选未出现在对应已见子列表的元素,且为无重复随机样本,与原for循环的逻辑完全等价。当子列表规模较大时,该方案相比Python原生循环的效率会有数量级提升。

内容的提问来源于stack exchange,提问作者Yannik Suhre

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 11:06:05