LeNet-5解析 AlexNet 首次使用Relu函数，droupout+BN 卷积网络结构的优化 减少计算量，对于Alex的优化 Incep...

图像数据和边缘检测 上图错字：达到瓶颈了 感受野 边缘检测 卷积神经网络（CNN）原理 卷积层 H：长，W：宽，F：卷积核大小，P：零填充，S：...

神经网络调优 调参技巧 运行： 批标准化（BN） 批标准化公式 为什么批标准化能使优化过程变简单 internal covraiate shif...

主网络搭建流程 准确率可以这么理解： 增加tensorflow的后台显示（可以在网页看到变量的变化p39） 训练模型保存、模型存在加载模型进行预...

序列模型 定义： 类型：语音识别、情感分类、机器翻译 为什么序列模型使用CNN效果不好： 循环神经网络 定义： 类型： 基础循环网络 词的表示 ...

偏差与方差 数据集划分 过拟合和欠拟合 解决方法： 高方差是过拟合，高偏差是欠拟合。 正则化 逻辑回归的L1与L2正则化 正则化项理解 神经网络...

优化的问题：梯度消失、局部最优 梯度消失、梯度爆炸 局部最优： 梯度下降 梯度下降的优化影响 大小选择 指数加权平均（梯度下降算法本身的优化） ...

四层网络的前向传播和反向传播 前向传播： 以上公式是由单个样本来进行表示，每层经过线性计算和激活函数两步计算。 反向传播： 参数和超参数 参数初...

单个样本的向量化表示 隐藏层：4个神经元，输出层：一个神经元 激活函数的选择 可选的函数有： 修改激活函数前的前向传播和反向传播