如何在Numpy中存储重复行并生成不规则广播视图？

当然可以实现！而且完全不需要生成unique_values_view这种占内存的完整数组——我们可以利用Numpy的索引机制，把重复的计算逻辑集中在唯一行上，再通过映射扩展结果，这样内存效率拉满，尤其适合n极大的场景。

核心思路 #

既然大量行是重复的，那我们只需要对唯一行做一次运算，再用index_mapping把运算结果映射到对应位置，就能得到和生成完整视图完全一致的输出，同时避免存储巨量重复数据。

具体实现代码 #

import numpy as np

# 你的原始数据
unique_values = np.array([[1,1,1], [2,2,2] ,[3,3,3]])
index_mapping = np.array([0,0,1,1,1,2,2])
other_array1 = np.arange(unique_values.shape[1]).reshape(1,-1)  # (1,m)
other_array2 = 2*np.ones((unique_values.shape[1],1))            # (m,1)

# 第一步：只对唯一行执行运算
unique_result = np.dot(unique_values * other_array1, other_array2).squeeze()

# 第二步：通过映射把结果扩展到目标长度
output = unique_result[index_mapping]

验证结果一致性 #

如果你想确认这个结果和生成完整视图的结果一致，可以对比：

# 生成完整视图（仅用于验证，实际不要这么做！）
unique_values_view = unique_values[index_mapping]
original_output = np.dot(unique_values_view * other_array1, other_array2).squeeze()

print(np.array_equal(output, original_output))  # 输出 True

为什么这是最优解？ #

• 内存效率：我们只存储了unique_values（k行，k远小于n）和index_mapping（n个整数），完全避免了存储n行的大数组，内存占用减少了n/k倍。
• 计算效率：重复行的运算只执行一次，减少了冗余计算，速度更快。

关于“视图”的补充说明 #

如果你的场景真的需要一个类似二维数组的视图对象（比如某些API要求输入是二维数组），但又不想复制数据，这里要注意：Numpy的as_strided（ stride tricks）只适合规则重复的场景（比如每行重复固定次数），而你的重复间隔是不规则的，所以这种方法不适用。因此，优先推荐上面的“先算唯一结果再映射”的方案，既简单又高效。

内容的提问来源于stack exchange，提问作者M.T