
我一直理解不了梯度。
假设: <input> => layer01 => layer02 => layer03 => <output>
反向传播时求出来的梯度, 到底是针对哪一层的梯度啊。
layer01,02,03 上所有的权重参数都更新吗?
1 jdhao 2021-08-12 11:32:55 +08:00 via Android 对,计算 loss 对各个层的偏导数,然后更新各层参数 |
2 Ehend 2021-08-12 11:35:11 +08:00 via Android 一楼回答完了 |
3 aguesuka 2021-08-12 14:08:38 +08:00 我是把梯度看作牛顿法的导数理解的 |