正则化项在神经网络中的应用
一般来说，正则化项的值越小，越容易出现过拟合现象。W越大，正则化项的泛化能力越强。
神经元越多，效果会越强，就能够表达复杂的模型，但过拟合的风险越大。
神经元就是权重参数W。
数据预处理
一般，对于图像来说，都会把0-255的颜色数据压缩到0——1区间之内。
权重初始化
神经网络迭代需要有一个初始的权重参数W，但是不能用0值（因为0乘啥都成0了...）
一般会做一个高斯初始化或随机初始化
还有一个被人遗忘的b……现在的论文都用0做初始化。
关于b偏置项的作用：
http://blog.csdn.net/xwd18280820053/article/details/70681750
DROP-OUT
全连接操作太多时，很容易过拟合，所以在每次BP算法中可以让一些W不参与运算。
