发简信
IP属地：北京
-
从Momentum、RMSprop到AdamMomentum、RMSprop是两种对梯度下降法的改进方法，他们能够使梯度下降运行得更快，而Adam算法又是Momentum和RMSprop的...
-
从随机梯度下降到Mini-Batch
梯度下降法（gradient descent）是最小化目标函数时最容易想到的方法，但是其缺点也很明显：非常的慢。原因在于，在运行梯度下降时，需要...
-
反向传播（BP）算法在神经网络训练过程中，反向传播可以说是迄今为止用途最成功的算法。而其本质可以说是非常简单：多元函数微分链式法则。同时再用一些trick降低计算量...