询问Python中drelu[z <= 0] = 0代码的含义与作用

你在阅读Harrison Kinsley所著的《NNFS》时，遇到了这段ReLU反向传播导数的实现代码：

drelu = dvalues.copy()
drelu[z <= 0] = 0

下面重点拆解第二行代码的具体含义和运作机制：

核心运作步骤 #

1. 生成布尔掩码
   z <= 0是Numpy的向量化比较操作：它会遍历数组z的每一个元素，逐一判断是否满足“≤0”的条件，最终返回一个和z形状完全一致的布尔数组。比如z = np.array([-1, 4, 0, 2])时，z <= 0会得到array([True, False, True, False])——True对应z中≤0的元素位置，False对应>0的位置。

2. 布尔索引批量赋值
   Numpy支持用布尔数组作为索引，直接定位目标数组的指定位置。drelu[z <= 0] = 0就是把drelu中所有对应布尔掩码为True的位置，一次性赋值为0。这种向量化操作不需要写循环，比逐个元素判断修改的效率高得多。

对应ReLU导数的逻辑 #

ReLU函数的导数规则很简单：当输入（也就是这里的z）>0时，导数为1；当输入≤0时，导数为0。反向传播中，我们需要将上游传来的梯度dvalues乘以ReLU的导数，所以直接把dvalues（也就是复制后的drelu）中对应z≤0的位置置0，就等价于完成了梯度的修正——因为乘以1的位置保持不变，乘以0的位置直接清零。

内容的提问来源于stack exchange，提问作者Shivam Singh