Python中生成长掩码列表的高效优化方案求助

• 现有数据：
  • long_list：包含600万+整数的超长列表
  • wanted_list：包含7万条目标整数的列表
• 需要生成：
  • mask_list：与long_list长度相同的布尔列表，每个元素标记对应long_list元素是否存在于wanted_list中，最终列表中True的数量需与wanted_list的长度一致
• 现有实现（效率极低，需数分钟）：

masklist = []

for element in long_list:
    if element in wanted_list:
        masklist.append(True)
    else: 
        masklist.append(False)

想寻求更优雅高效的实现方式，曾考虑过numpy.ma模块但未找到合适用法。

1. 集合优化查询（Python原生最优解） #

列表的in操作是O(n)复杂度，而集合是O(1)，这是原代码慢的核心原因。把wanted_list转成集合后，用列表推导式生成结果：

wanted_set = set(wanted_list)
mask_list = [element in wanted_set for element in long_list]

这个方法能把运行时间从数分钟压缩到几秒内，是最简便的优化方式。

2. numpy向量化处理（大规模数值数据首选） #

如果数据都是数值类型，用numpy的批量操作效率更高，完全避免循环：

import numpy as np

long_arr = np.array(long_list)
wanted_arr = np.array(wanted_list)
mask_list = np.isin(long_arr, wanted_arr).tolist()

np.isin会批量完成元素匹配判断，再转成列表即可，性能比纯Python推导式更优。

3. 处理重复元素的特殊场景 #

如果wanted_list存在重复值，且要求mask_list中True的数量严格等于wanted_list的长度（即每个重复目标值都要对应一次匹配），可以用计数器逐个消耗匹配次数：

from collections import Counter

wanted_counter = Counter(wanted_list)
mask_list = []
for element in long_list:
    if wanted_counter.get(element, 0) > 0:
        mask_list.append(True)
        wanted_counter[element] -= 1
    else:
        mask_list.append(False)

内容的提问来源于stack exchange，提问作者jingajinga