深度学习(吴恩达老师)笔记:
小杨:什么是正向传播?
小吴:如果神经网络具有线性输出层和至少任何一种“挤压”性质的激活函数的隐藏层,只要有足够数量的隐藏单元,它可以以任意的精度来近似任何一个有限维空间到另一个有限维空间的Borel可测函数(图片分类时,即是对某一类型的图片有了一个近似的函数)
小杨:那反向传播又用来干嘛呢?
小吴:当神经网络的前向传播在训练过程中,持续向前产生一个标量代价函数,允许代价函数的信息通过网络向后流动,计算梯度,更新参数,更新近似函数
深度学习(吴恩达老师)笔记:
小杨:什么是正向传播?
小吴:如果神经网络具有线性输出层和至少任何一种“挤压”性质的激活函数的隐藏层,只要有足够数量的隐藏单元,它可以以任意的精度来近似任何一个有限维空间到另一个有限维空间的Borel可测函数(图片分类时,即是对某一类型的图片有了一个近似的函数)
小杨:那反向传播又用来干嘛呢?
小吴:当神经网络的前向传播在训练过程中,持续向前产生一个标量代价函数,允许代价函数的信息通过网络向后流动,计算梯度,更新参数,更新近似函数