大维度二维Numpy数组：每行最高频元素频率计算与最小频率行筛选的向量化方法

针对10000×10000规模的大矩阵，纯Python循环的效率极低，以下是基于NumPy的完全向量化方案，能大幅提升处理速度：

核心思路 #

通过对每行排序，将相同元素聚集在一起，再利用向量化操作统计连续相同元素的最大长度（即该行最高频元素的频次），最后筛选出频次最小的行。

实现代码 #

import numpy as np

# 示例矩阵（替换为你的大矩阵）
arr = np.array([
    [1, 2, 3, 3, 5],
    [1, 1, 1, 2, 1],
    [3, 2, 2, 1, 3],
    [4, 5, 1, 2, 2],
    [3, 5, 6, 7, 8]
])

# 1. 对每行排序，聚集相同元素
sorted_arr = np.sort(arr, axis=1)

# 2. 标记每行中每个元素是否与前一个元素相同
same_as_prev = np.concatenate(
    [np.zeros((arr.shape[0], 1), dtype=bool),  # 第一列无前置元素，标记为False
     sorted_arr[:, 1:] == sorted_arr[:, :-1]],  # 从第二列开始对比前一列
    axis=1
)

# 3. 计算连续相同元素的累积长度，取每行最大值即为最高频频次
# 当元素与前一个相同时，累积计数+1；否则重置为1
cumulative_counts = np.where(same_as_prev, np.cumsum(same_as_prev, axis=1) + 1, 1)
max_freq_per_row = np.max(cumulative_counts, axis=1)

# 4. 筛选出最高频频次最小的行索引
min_freq = np.min(max_freq_per_row)
target_row_indices = np.where(max_freq_per_row == min_freq)[0]

print("每行最高频元素频次:", max_freq_per_row)
print("频次最小的行索引:", target_row_indices)

效率说明 #

• 排序操作：NumPy的np.sort采用高度优化的算法（如快速排序），并利用CPU并行加速，处理10000×10000矩阵的排序耗时远低于纯Python循环。
• 后续统计操作：均为O(n)复杂度的向量化数组运算，完全避开Python级别的循环，能充分利用底层C实现的性能优势。

补充：极端场景优化 #

如果矩阵中元素取值范围有限（如0到某个整数），还可以用np.bincount结合向量化分组的方式进一步优化：

# 假设元素取值范围是0到max_val
max_val = np.max(arr)
# 按行计算每个元素的频次
counts = np.apply_along_axis(lambda x: np.bincount(x, minlength=max_val+1), axis=1, arr=arr)
max_freq_per_row = np.max(counts, axis=1)

不过这种方法仅在元素取值范围远小于行长度时效率更高，否则排序法的表现更优。

内容的提问来源于stack exchange，提问作者John Doyle