240 发简信
IP属地:英格兰
  • 深度学习知识总结 (1)

    ReLU ReLU激活函数的优势 ReLU求导容易ReLU会使一部分神经元的输出值为0,这样就造成了网络的稀疏性,减少了参数间的相互依存关系,避免出现过拟合很好的传播梯度,避...

  • 120
    深度学习优化算法(2)—— Momentum、AdaGrad、RMSProp、Adam

    算法概述 动量法:梯度转化为速度 AdaGrad:每个参数反比于历史梯度平方总和的平方根 RMSProp:AdaGrad的升级(将梯度积累替换为滑动平均) Adadelta:...

  • 这个博主太厉害了吧,怎么可以不关注!!!!!!

    深度学习优化算法(1)—— 优化算法的基础

    偏导、方向导数和梯度 (1)偏导:函数在坐标轴方向上的变化率(一维方向)设函数在点的邻域内有定义,当时,可以看作是关于的一元函数,若该一元函数在处可导,即有函数的极限存在,那...