多层感知机
概念：多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。多层感知机的层数和各隐藏层中隐藏单元个数都是超参数。以单隐藏层为例并沿用本节之前定义的符号，多层感知机按以下方式计算输出：
激活函数
| 激活函数 | 公式 | 导数公式 | 优点 | 缺点 |
|---|---|---|---|---|
| ReLU | 不会同时激活所有神经元，使得计算高效 | x<0，梯度是0，导致神经元死亡，权重无法更新 | ||
| Sigmod | 非线性，适合输出层 | 两边太平滑导致学习率低；输出不是以0为中心 | ||
| Tanh | 弥补了sigmod很多缺陷 | 两边太平滑会导致学习率低 |
| 激活函数 | 原公式图像 | 导数公式图像 |
|---|---|---|
| ReLU |  relu.png
|
 relu_grad.png
|
| Sigmod |  sigmod.png
|
 sigmod_grad.png
|
| Tanh |  tanh.png
|
 tanh_grad.png
|
激活函数的选择
1.通用情况下选择ReLu函数。注意：ReLu函数只能在隐藏层使用。如果出现死神经元，选择PReLu函数。
2.分类问题中，Sigmod函数及其组合通常效果更好，但应避免梯度消失问题。
