注意dZ^{[2]}的由来

激活函数为Sigmoid: a^{[2]} = \frac{1}{1 + e^{-z^{[2]}}}
损失函数为: L(a , y) = - y \log{a} - (1-y)\log{(1-a)}
所以:\frac{dL}{da} = -\frac{y}{a} + \frac{1-y}{1-a}
而:\frac{da}{dz} = a (1 - a)
根据链式法则:\frac{dL}{dz^{[2]}} = a^{[2]} - y

图为单隐藏网络正向传播流程↓
image-bgwc.png

图为反向传播计算↓
image.png