转载知乎深度炼丹，如何找到最优学习率：https://zhuanlan.zhihu.com/p/31424275
转载知乎机器之心，神经网络学习速率设置：
https://zhuanlan.zhihu.com/p/34236769
转载github,Cyclical Learning Rates :
https://github.com/automan000/CyclicLR_Scheduler_PyTorch
https://github.com/falloutdurham/pytorch-clr/blob/master/clr.py
转载CSDN,过拟合和欠拟合:https://blog.csdn.net/willduan1/article/details/53070777
深度学习的实用层面：
https://mp.weixin.qq.com/s?__biz=MzIwOTc2MTUyMg==&mid=2247483950&idx=1&sn=9e7acdc01cfd9f6afcd0b4f48148cd7a&chksm=976fa7b3a0182ea592997268ed278104492294b8bcb0bec54533618bdb3dd77be2a6946cd757&scene=21#wechat_redirect
超参数调试、Batch正则化:
https://mp.weixin.qq.com/s?__biz=MzIwOTc2MTUyMg==&mid=2247483961&idx=1&sn=6e369887d6c76b84a5eb48e8a7cd512f&chksm=976fa7a4a0182eb2d37c178ace5b961eba574f1006c74db11516691a52abbcbbd97862a932ea&scene=21#wechat_redirect
机器学习策略：https://mp.weixin.qq.com/s?__biz=MzIwOTc2MTUyMg==&mid=2247483979&idx=1&sn=a57afefb29ccd1a4ccfe9ae2439f1eb5&chksm=976fa7d6a0182ec0656dfb359c4899d0a335eecc67dda715f0fcf47c546cd69fee3648f52b91&scene=21#wechat_redirect
神经网络不工作:http://theorangeduck.com/page/neural-network-not-working
训练CNN时，loss不收敛原因分析 :https://blog.csdn.net/sinat_24143931/article/details/78663659》
SanpShot ：http://www.mamicode.com/info-detail-2475181.html
训练神经网络不得不看的33个技巧:https://mp.weixin.qq.com/s?__biz=MzUyMjg4NjU5OQ==&mid=2247488142&idx=1&sn=277f16cad384c112e29c5ca07f08b5cc&chksm=f9c45e26ceb3d730f951d81178bad785b95d76825f22d67be896976420c2816da12755e61fd0&scene=0&xtrack=1&key=4cf54c0f296f3db4f406ff87f192b38efca1a51f7192d7b0fce343a1c40bd1b078537320e712f417a16deee39a952101d04d3b7d6016f6f354ea7710badeb920d4a11a4fbe4b7a61b48ffb9bbd381eef&ascene=1&uin=MjI2NjQ5NDAxOA%3D%3D&devicetype=Windows+7&version=62060739&lang=zh_CN&pass_ticket=pmVBvRDRDuosYWeaY2LuX6vm1j%2Fv6nXIPHzs%2FiEduVVlcHr8JEbnJKdU%2B9dnj1o6
语义分割中的loss
基本不变
- 初始状态为均匀分布，每个类别的分类概率均为0.5（二分类），损失函数-ln(0.5)=0.69,loss一直为0.69，俗称高原反应，说明训练还没有收敛的迹象，(建议调大学习速率,有的说要调小学习率)，或者修改权值初始化方式;
- batch size越小，梯度随机性越大，batch size越大，梯度随机性越小
epoch 和 iteration
- one epoch: 指所有training samples的一次forward pass和一次backward pass.当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个 epoch。
- batch size: 指一次forward/backward pass中training samples的数量．batch size越大，所需的内存空间越多．
- iterations: number of passes, each pass using [batch size] number of examples.在一个 epoch 中，batch 数和迭代数是相等的。
- one pass = one forward pass + one backward pass
- 例：对于1000个训练样本，batch size是500,那么每个epoch需要迭代两次
