【深層学習】BackProp

Posted on
Symbols count in article: 144 Reading time ≈ 1 mins.

【深層学習】BackProp

引入

Alt text
普通求导
Alt text
神经网络示意图
Alt text
现在让我们对底层单个元素求导
Alt text
因为$W_{ij}$只和$z_i$相关（如图）
Alt text
结果是一个上层返回的错误信号乘上该层的梯度信号

写成矩阵就是Alt text
Alt text
Alt text

Computation Graphs and Backpropagation

Alt text
Alt text
反向传播到需要更新的参数Alt text
Alt text
Alt text
Alt text
Alt text
Alt text
Alt text

代码实现

Alt text
Alt text
Alt text
Alt text

-------------End of this passage-------------