如何去除np.array列表中的重复元素？

由于numpy数组不可哈希，常规的列表去重方法（如set、index）无法直接生效，以下针对两种常见需求给出解决方案：

场景1：常规去重（每个唯一数组保留一个实例） #

方法1：转换为可哈希的Tuple（高效） #

将数组展平为Tuple（多维数组同样适用），利用集合记录已出现的元素，遍历完成去重：

import numpy as np

# 示例输入列表
y = [np.array([1,2]), np.array([3,4]), np.array([1,2]), np.array([[1,2],[3,4]]), np.array([[1,2],[3,4]])]

seen = set()
unique_arrays = []
for arr in y:
    # 展平数组为Tuple，确保可哈希
    arr_tuple = tuple(arr.flatten())
    if arr_tuple not in seen:
        seen.add(arr_tuple)
        unique_arrays.append(arr)

# 输出结果
print(unique_arrays)

方法2：使用numpy.array_equal直接比较（直观但效率较低） #

如果列表规模不大，可直接用np.array_equal逐个判断数组是否完全相等，无需类型转换：

import numpy as np

y = [np.array([1,2]), np.array([3,4]), np.array([1,2]), np.array([[1,2],[3,4]])]

unique_arrays = []
for arr in y:
    # 检查结果列表中是否已有相同数组
    if not any(np.array_equal(arr, existing) for existing in unique_arrays):
        unique_arrays.append(arr)

print(unique_arrays)

场景2：仅保留只出现过一次的数组（移除所有重复出现的数组） #

若需求是彻底删除所有出现多次的数组实例（仅保留全局出现次数为1的数组），可先统计次数再筛选：

import numpy as np
from collections import defaultdict

y = [np.array([1,2]), np.array([3,4]), np.array([1,2]), np.array([5,6]), np.array([3,4])]

# 统计每个数组的出现次数，用Tuple作为键
count_map = defaultdict(int)
tuple_to_arr = {}

for arr in y:
    arr_tuple = tuple(arr.flatten())
    tuple_to_arr[arr_tuple] = arr
    count_map[arr_tuple] += 1

# 筛选出现次数为1的数组
unique_once_arrays = [tuple_to_arr[t] for t in count_map if count_map[t] == 1]

print(unique_once_arrays)

原代码报错原因 #

你尝试的[y[i] for i in range(len(y)) if i == y.index(y[i])]报错，是因为y.index(y[i])会尝试判断数组是否相等，但numpy数组直接用==返回的是元素级布尔数组，而非单个布尔值，index方法无法处理这种情况——必须用np.array_equal(y[i], elem)才能判断两个数组是否完全相等，因此原逻辑无法生效。

内容的提问来源于stack exchange，提问作者IMOPUTFIE