理解这25个概念，你的「深度学习」才算入门！
http://www.sohu.com/a/142551924_390227
深度学习入门必须理解这25个概念
https://blog.csdn.net/pangjiuzala/article/details/72630166
了解深度学习
定义一个深度学习模型，通常需要解决3个问题：
1）激活函数，也就是先对于输入神经元的激活值。一般的有 logistic 、tanh、以及ReLU。
2）代价函数。一般学习过程都是优化问题。代价函数一般采用欧式距离。
3）优化策略。最简单的用梯度下降。
深度学习Deep Learning（01）_CNN卷积神经网络
神经网络
https://www.bilibili.com/video/av15997678/?p=9
- 训练时，若判断错误，则激活的神经元变得不那么敏感，没激活的神经元更敏感。
- 在隐藏层只有两三层时，激活函数影响不大。当隐藏层多的时候，激活函数要慎重选择，选择错误会造成梯度爆炸/梯度消失
- 在卷积神经网络中，推荐relu
各种优化方法
http://www.sohu.com/a/149921578_610300
GAN
https://www.youtube.com/watch?v=yYUN_k36u5Q
- 训练评估模型与生成模型
纠正评估模型，同时让评估模型指导生成模型的生成
过程：先让初始生成模型生成一组，再与样本数据合在一起让初始判别模型判断，并得到判断的准确性的评估。让这个评估作为反馈，进行BP，让生成模型和判别模型都反馈学习。
