1.卷积作用及特点
卷积是一种数学运算,在数字图像处理中,运用色谱算子和拉普拉斯算子等卷积核对图像进行卷积,从而实现提取图像的边缘特征。因此我们可以使用不同的卷积核来提取图片的不同的特征。但我们又不知道对于庞杂的图片,我们需要提取图片的哪部分特征,所以将卷积放入神经网络中,让它不断的学习,自己来更新卷积核,找到提取心仪的特征所需要的最合适的卷积核。(这里我突然对深度学习有了一点感悟,他就像是一个求函数的未知参数的过程,通过数据集,不断更新参数,找到最合适的参数,以适应普遍的状况,也即泛化)。
2.卷积方式推导
卷积过程图示:1.对一个id*id的图片用fd*fd的卷积核进行卷积之后,得到的feature map 的尺寸是cd*cd cd= id-fd+1;也即卷积之后图片的尺寸会缩小,所以如果不希望图片缩小,可以在原始图片周围pading 0.
2.卷积核是一个三维的,他的第三个维度对应前一层输入的通道数,也即前一层输入几个图片,他的第三维就是几,这个三维的卷积核会对所有的输入图像的作用进行叠加,从而使所有的图像发生作用。这一个三维的卷积核作用于前一层的所有输出,得到的是一个feature map 。而这一层有多少个卷积核(神经元)决定这一层会输出几个feature map。
3.正向传播,反向传播
正向传播:通常的卷积神经网络,基本都是这样
图片-> 卷积层 ->激活->pooling层->flaten ->全连接层
pooling层:是对提取的特征图进行下采样,可以压缩数据量,也可以防止过拟合。
反向传播:
用loss function 对全连接层,pooling层,conv层求梯度,更新w b ,当然pooling层没有可以更新的权值。
4.ufldl中卷积实现
5.soft max函数,normal层
7.熵,loss function