手写数字识别神经网络前向传播矩阵乘法效率优化咨询

我正在Python中实现不依赖预训练机器学习库的手写数字识别神经网络，当前编写DenseLayer类及其forward propagation函数，现有实现代码如下：

class DenseLayer:
  ...
  
  ...
  def for_prop(self, input_data):
    self.input = input_data

    transpose_weights = self.weights.T
    # matMulComponent = np.matmul(input_data, transpose_weights)
    print(f"transpose shape: {transpose_weights.shape} and input shape {input_data.shape}")
    matMulComponent = input_data.T @ transpose_weights
    print(len(matMulComponent))

    z = matMulComponent + self.biases.T
    f_wb = self.act_fun(z)
    
    

    self.output = f_wb.reshape(-1, 1)
    print(f"result of shape: {self.output.shape}")
    return self.output

目前该函数虽能正常完成前向传播，但存在频繁转置和重塑数组的操作，我担心这会导致效率低下。现咨询：

1. 该实现是否会引发效率问题？
2. 有无更优的前向传播函数实现方式？

补充说明：输入数据为经过z-score归一化的扁平化28*28数组，已附输入数据、第一层权重矩阵及前向传播运行结果截图。

1. 现有实现的效率问题 #

频繁转置和重塑确实会带来额外性能开销：

• 虽然NumPy的转置（.T）大多是创建视图而非复制数据，但多次转置会增加维度管理复杂度，若后续矩阵乘法维度不匹配，还可能隐含额外内存操作。
• reshape(-1,1)在原数组内存布局不连续时会创建新副本，处理批量数据时，重复的重塑会累积可观时间成本。
• 代码中保留的print语句也会拖慢运行速度，调试完成后建议移除。

2. 优化后的前向传播实现 #

核心思路是统一数据维度约定，从根源上避免不必要的转置和重塑：
约定维度规则：

• 输入input_data：(样本数, 特征数)，单样本时为(1, 784)（对应28*28扁平化）
• 权重self.weights：(特征数, 神经元数)，直接匹配矩阵乘法维度要求
• 偏置self.biases：(1, 神经元数)，利用NumPy广播特性直接相加

优化代码如下：

class DenseLayer:
    def __init__(self, input_dim, output_dim, act_fun):
        # 初始化时固定权重和偏置维度，符合约定
        self.weights = np.random.randn(input_dim, output_dim) * 0.01  # (特征数, 神经元数)
        self.biases = np.zeros((1, output_dim))  # (1, 神经元数)
        self.act_fun = act_fun

    def for_prop(self, input_data):
        self.input = input_data  # 维度：(样本数, 特征数)
        
        # 直接执行矩阵乘法，无需转置
        matMulComponent = np.matmul(input_data, self.weights)  # 结果维度：(样本数, 神经元数)
        z = matMulComponent + self.biases  # 广播相加，无需转置偏置
        f_wb = self.act_fun(z)
        
        self.output = f_wb  # 维度：(样本数, 神经元数)，单样本时为(1, 神经元数)
        return self.output

优化细节说明 #

• 维度统一：通过初始化阶段固定权重和偏置的维度，彻底消除前向传播中的转置操作，矩阵乘法直接满足(样本数,特征数) @ (特征数,神经元数) = (样本数,神经元数)的维度逻辑。
• 移除冗余重塑：输出保留(样本数,神经元数)维度，既符合后续层的输入要求，也避免了reshape带来的内存开销。
• 利用广播特性：NumPy的广播机制允许(样本数,神经元数)与(1,神经元数)直接相加，无需调整偏置维度。

如果必须保持单样本输出为(神经元数,1)的列向量格式，可在最后选择性执行重塑，仅在必要时操作：

# 可选：仅单样本时转为列向量
if self.input.shape[0] == 1:
    self.output = f_wb.reshape(-1, 1)
else:
    self.output = f_wb

内容的提问来源于stack exchange，提问作者Alex