Eigen矩阵广播断言失败：神经网络前向传播维度不匹配排查

问题场景 #

使用C++结合Eigen线性代数库实现神经网络时，在DenseLayer::forward函数中给层输出矩阵添加偏置向量时遭遇维度不匹配断言错误。

维度信息 #

• 输入矩阵：64x784（批量大小64）
• 权重矩阵：128x784
• 偏置向量：128x1（列向量）
• 预期运算：input * weights.transpose()得到64x128的输出矩阵，需为输出的每一行添加偏置，最终结果保持64x128维度。

当前实现代码 #

Eigen::MatrixXd DenseLayer::forward(const Eigen::MatrixXd& input) {
    input_cache = input;
    Eigen::MatrixXd output = input * weights.transpose();

    // 尝试复制偏置以匹配输出维度
    Eigen::MatrixXd bias_replicated = bias.replicate(output.rows(), 1);

    output += bias_replicated;
    return output;
}

错误信息 #

运行时触发断言失败：

Assertion failed: (dst.rows() == src.rows() && dst.cols() == src.cols()), function resize_if_allowed, file AssignEvaluator.h, line 754.

已尝试方案 #

• 使用.colwise() + bias.col(0)、.rowwise() + bias.transpose()及不同转置/重塑方式直接添加偏置
• 调试确认输出矩阵为64x128，偏置为128x1

解决方案 #

方案1：利用Eigen的rowwise广播特性（推荐） #

直接通过rowwise()将偏置转置后的行向量广播到输出矩阵的每一行，无需显式复制：

Eigen::MatrixXd DenseLayer::forward(const Eigen::MatrixXd& input) {
    input_cache = input;
    Eigen::MatrixXd output = input * weights.transpose();

    // 将128x1的偏置转置为1x128，通过rowwise广播到每一行
    output.rowwise() += bias.transpose();

    return output;
}

方案2：正确复制偏置维度 #

若需显式复制偏置，需先将偏置转置为行向量，再沿行方向复制对应次数：

Eigen::MatrixXd DenseLayer::forward(const Eigen::MatrixXd& input) {
    input_cache = input;
    Eigen::MatrixXd output = input * weights.transpose();

    // 先转置偏置为1x128，再复制64次行得到64x128矩阵
    Eigen::MatrixXd bias_replicated = bias.transpose().replicate(output.rows(), 1);

    output += bias_replicated;
    return output;
}

错误原因解释 #

原代码中bias.replicate(output.rows(), 1)的参数使用错误：Eigen的replicate(num_rows_times, num_cols_times)是沿行方向复制num_rows_times次，列方向复制num_cols_times次。原偏置为128x1的列向量，执行该语句后会生成128*64=8192行，1列的矩阵，与64x128的输出矩阵维度完全不匹配，因此触发断言错误。

内容的提问来源于stack exchange，提问作者Chizy