参考https://blog.csdn.net/kangyi411/article/details/78969642
Sigmoid
\sigma(x) = \frac {1} {1 + e^{-x}}
求导为\sigma(x)(1 - \sigma(x))
tanh
\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}
求导为1 - \tanh^2(x)
relu
f(x) = max\{0, x\}
激活函数
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 神经网络之激活函数(Activation Function) 本博客仅为作者记录笔记之用，不免有很多细节不对之处。...
- 关键词： 激活函数；深度学习；Sigmoid；ReLU；Tanh；Swish中文翻译网址英文原文网址 本文从激活函...
