基于Cython快速查找二维NumPy数组唯一行的最优方案

嘿，这个问题我之前处理大数组的时候踩过坑——原始的转元组存集合的方法虽然直观，但数据量一大就慢得离谱。下面给你分享几个高效的方案，尤其是你关注的字节哈希相关实现，还有NumPy原生的最优解。

其实NumPy早就内置了直接处理二维数组唯一行的方法，只需要指定axis=0参数就行。这玩意儿是C级别的底层优化，比纯Python层的操作快太多，绝对是首选。

示例代码：

import numpy as np

# 生成测试整数数组
arr = np.array([[1, 2, 3], [4, 5, 6], [1, 2, 3], [7, 8, 9]])

# 获取唯一行，还能按需返回索引信息
unique_rows, first_indices = np.unique(arr, axis=0, return_index=True)
print("唯一行：")
print(unique_rows)
print("原始数组中唯一行的首次出现索引：")
print(first_indices)

这里return_index可以返回原始数组中唯一行的首次出现位置，return_inverse还能把原数组映射到唯一行的索引，按需调用就行。

如果想手动实现字节级别的哈希优化，可以利用NumPy数组的view方法把每行转换成连续字节串，这样哈希的开销会比转元组小很多——毕竟绕开了Python对象的创建过程。

具体思路：

• 把二维数组的每行转为字节视图，直接操作内存中的原始字节
• 用np.unique或者集合跟踪已出现的字节串，最后再还原回原数据类型

示例代码：

def get_unique_rows_by_bytes(arr):
    # 将每行转为连续字节视图，确保数组内存连续避免异常
    byte_rows = arr.view(np.uint8).reshape(arr.shape[0], -1)
    # 对字节视图去重
    unique_byte_rows = np.unique(byte_rows, axis=0)
    # 还原回原始数组的数据类型和形状
    return unique_byte_rows.view(arr.dtype).reshape(unique_byte_rows.shape[0], arr.shape[1])

# 测试
unique_rows = get_unique_rows_by_bytes(arr)
print("字节哈希方法得到的唯一行：")
print(unique_rows)

这种方法的核心是利用NumPy的内存布局特性，直接操作底层字节，完全避开了Python元组这类对象的额外开销，速度比转元组的方法快一个量级。

你最开始用的转元组存集合的方法，比如：

seen = set()
unique_rows = []
for row in arr:
    t = tuple(row)
    if t not in seen:
        seen.add(t)
        unique_rows.append(row)
unique_rows = np.array(unique_rows)

这个方法的问题在于，每次把NumPy数组的行转成Python元组，会生成大量的Python对象。当数组行数达到百万级时，内存占用和运行速度都会拉胯，完全比不上前面两种方法。

• 如果只是需要快速得到唯一行，优先用np.unique(axis=0)，代码简洁且速度最快，NumPy的底层优化不是手动实现能轻易超越的。
• 如果你想深入理解字节哈希的逻辑，用view转字节的方法是很好的学习案例，在某些需要自定义哈希规则的特殊场景下也能派上用场。

内容的提问来源于stack exchange，提问作者Ted Petrou