2.3反向传播:与正向传播的关系 正向传播 output layer 反向传播
2.3 反向传播：与正向传播的关系
2.3反向传播:与正向传播的关系 事实上,正向传播和反向传播相互依赖。 ①正向传播的计算可能依赖于模型参数的当前值, 而这些模型参数是在反向传播的梯度计算后通过优化算法迭代得到的 正向传播的计算模型参数反向传播的梯度 ②反向传播的梯度计算可能依赖于各变量的当前值 而这些变量的当前值是通过正向传播计算的。 反向传播的计第变量值正向传播计第 因此,在模型参数初始化完成后, 可以交替地进行正向和反向传播,并根据反向传播计算的梯度迭代模型参数
事实上，正向传播和反向传播相互依赖。 ①正向传播的计算可能依赖于模型参数的当前值， 而这些模型参数是在反向传播的梯度计算后通过优化算法迭代得到的。 ②反向传播的梯度计算可能依赖于各变量的当前值， 而这些变量的当前值是通过正向传播计算的。 正向传播的计算 模型参数 反向传播的梯度 依赖于 迭代更新 反向传播的计算 变量值 正向传播计算 依赖于 获得 因此，在模型参数初始化完成后， 可以交替地进行正向和反向传播，并根据反向传播计算的梯度迭代模型参数。 2.3 反向传播：与正向传播的关系