深度学习第二天
python基础:
python属于动态数据类型; 变量是容器;步长[0:5:2]; 索引index[]; 分割split[]: 去空格:lstrip(),rstrip(); 格式化%f,%d,%.2f
图像处理回顾:
我们都知道图像都是由三种颜色深浅调和出来的,这三种颜色就是RGB(0-255),深度由深到浅。图像是由一个个的像素组成,图像的长宽就是像素的多少,图像有厚度,分别是R/G/B三色叠加起来的,我们称之为通道,一般是由3通道的RGB(0-255) 的颜色由深到浅调和而成。在做图像处理的过程种,图像是4维的,在深度学习网络架构中所使用的方程是:y=xw+b,x代表这输入的图像,因此要想使图像能够参与计算,就需要在python代码中reshape图像的形状,将图像变成一维向量才能计算。w代表权重,每个x对应一个权重,x是向量,w也是向量,要想w向量能够和x向量相乘就需要转置一下w。
梯度概念:
梯度和函数在这一点的导数相似,是求函数在这一点🔺w无线趋近于0时,y的值。梯度有方向,方向向上。
loss = (h - y)的平方2,h为标签,可见loss是一个开口向上的凸函数,我们需要通过神经网络计算,使用梯度下降发对w求导,求出loss趋于稳定的位置。(就是凸函数的最低点,在深度学习中我们不能直接令w的导函数为零,我们需要通过规定学习速率使用梯度下降算法求出loss的稳定值),w = w0 - (lr*(-🔺x)),lr为学习速率(梯度步长),🔺x是梯度,因为梯度要向下所以我们在前面添加一个负号,通过梯度下降算法,最终w的值将会稳定在一定的范围。这样就求出我们想要的w。
注意:学习的梯度步长不宜过大,过小。否则会出现爆炸和消失。