深度神经网络反向传播公式推导

深度神经网络反向传播算法，由输出层的误差开始到输出层的输入，如下所示

$E_d \leftarrow \hat{y_i} \leftarrow net_i \tag1$

这里的箭头 $\leftarrow$ 表示的是前者是后者的函数，不是反向传播的方向。 $(1)$ 式中 ~~$E_d$ 是~~输出层的训练误差， $\hat{y_i}$ 训练结果中输出层 $i$ 节点的输出， $net_i$ 是前向传播中，输出层的带权输入。其中 $E_d$ 是 $\hat{y_i}$ 的函数， $\hat{y_i}$ 是 $net_i$ 的函数。由链式求导法则

$\frac{\partial E_d}{\partial net_i} = \frac{\partial E_d}{\partial \hat{y_i}} \frac{\partial \hat{y_i}}{\partial net_i} \tag2$

可得到输出层的输入 $net_i$ 对误差 $E_d$ 的偏导数，以下分别计算 $(2)$ 式两项

根据样本输出 $\hat{y_{i}}$ 和标准输出 $y_i$ ，采用最小二乘法得训练损失函数

$E_{d} = \sum_{i}\frac{1}{2}(y_{i} - \hat{y_{i}})^2 \tag3$

所以有 $(2)$ 式第一项

$\frac{\partial E_{d}}{\partial \hat{y_i}} = \frac{\partial \sum_{i}\frac{1}{2}(y_{i} - \hat{y_{i}})^2}{\partial \hat{y_i}} = -(y_{i} - \hat{y_{i}}) \tag4$

由 $net_i$ 到 $y_i$ 是做了激活操作，这里使用的激活函数是sigmoid函数

$y = sigmoid(x) = \frac{1}{1 + e^{-x}} \tag5$

求导得

$\frac{\partial y}{\partial x} = y(1 - y) \tag6$

$(2)$ 式第二项

$\frac{\partial \hat{y_i}}{\partial net_{i}} = \hat{y_i}(1 - \hat{y_i}) \tag{7}$

所以 $(2)$ 式可以写为

$\frac{\partial E_{d}}{\partial net_{i}} = -\hat{y_i}(1 - \hat{y_i})(\hat{y_{i}} - y_{i}) \tag{8}$

反向传播的梯度下降算法核心便是从后向前计算出每个节点的误差项，记

$\delta_i=-\frac{\partial E_{d}}{\partial net_{i}}\tag{9}$

以下对 $i$ 节点处在输出层和隐藏层两种情况分开讨论。

一、 $i$ 节点是输出层节点:

神经网络反向传播由后向前传播到输出层的隐藏函数

$(E_d \leftarrow y_i \leftarrow net_i) \leftarrow w_{ij} \tag{10}$

结合 $(1)$ 式， $w_{ij}$ 是上一层节点 $j$ 到输出层节点 $i$ 的边的权重， $net_i$ 是 $w_{ij}$ 的函数，那么有：

$\frac{\partial E_{d}}{\partial w_{ij}} = \frac{\partial E_d}{\partial net_i} \frac{\partial net_i}{\partial w_{ij}} \tag{11}$

$(10)$ 式中第一项 $\frac{\partial E_d}{\partial net_i}$ 是 $i$ 节点的误差项，已由 $(9)$ 式给出。第二项计算如下

$\frac{\partial net_i}{\partial w_{ij}} = \frac{\partial \sum_{j \in Upstream(i)}w_{ij}a_j}{\partial w_{ij}} = a_j \tag{12}$

根据反向传播梯度下降算法更新 $w_{ij}$ ，其中 $\eta$ 是学习率：

$w_{ij} = w_{ij} - \eta \cdot \frac{\partial E_d}{\partial w_{ij}} = w_{ij} - \eta \cdot \frac{\partial E_d}{\partial net_i} \frac{\partial net_i}{\partial w_{ij}} \tag{13}$

得

$w_{ij} = w_{ij} + \eta \cdot \delta_i \cdot a_j \tag{14}$

$(14)$ 式即是我们再反向传播中，要更新的，隐藏层中与输出层相连的边对应的权重公式。再强调下， $w_{ij}$ 是隐藏层 $j$ 到输出层 $i$ 节点的权重， $\eta$ 是学习率， $a_j$ 是 $j$ 节点传递给 $i$ 节点的输入值。

二、 $i$ 节点是隐藏层节点:

反向传播中，由输出层到隐藏层的输入

$(E_d \leftarrow y_K \leftarrow net_K \leftarrow a_i \leftarrow net_i) \leftarrow w_{ij}\tag{15}$

这里的 $y_K$ 和 $net_K$ 中的 $K$ 是隐藏层中 $i$ 节点到输出层所有节点的集合，记为 $K = \left\{k | k \in DownStream(i) \right\}$ ， $a_i、net_i$ 分别是隐藏层 $i$ 节点的输出和输入，结合 $(1)$ 式， $net_k$ 是 $a_i$ 的函数， $a_i$ 是 $net_i$ 的函数， $net_i$ 是 $w_{ij}$ 的函数，

$a_i = sigmoid(net_i) \tag{16}$

由链式求导法则可得

$\frac{\partial E_d}{\partial w_{ij}} = \sum_{k \in Downstream(i)} \frac{\partial E_d}{\partial net_k} \frac{\partial net_k}{\partial a_i} \frac{\partial a_i}{\partial net_i} \frac{\partial net_i}{\partial w_{ij}} \tag{17}$

结合上一节， $(17)$ 式第一项

$\delta_k = - \frac{\partial E_d}{\partial net_k} \tag{18}$

$(17)$ 式第二项

$\frac{\partial net_k}{\partial a_i} = w_{ki} \tag{19}$

$(17)$ 式第三项

$\frac{\partial a_i}{\partial net_i} = a_i(1 - a_i) \tag{20}$

$(17)$ 式第四项

$\frac{\partial net_i}{\partial w_{ij}} = b_j \tag{21}$

$i$ 节点的误差项记为 $\delta_i$ ，有

$\delta_{i} = - \frac{\partial E_d}{\partial net_i} = - \sum_{k \in Downstream(i)} \frac{\partial E_d}{\partial net_k} \frac{\partial net_k}{\partial a_i} \frac{\partial a_i}{\partial net_i} =a_{i}(1 - a_{i})\sum_{k\in Downstream(i)} w_{ki}\delta_{k} \tag{22}$

$a_{i}$ 是节点 $i$ 的输出值， $Downstream(i)$ 是节点 $i$ 下游节点集合，即节点 $i$ 所在层的下一层网络中与 $i$ 相连的节点集合， $w_{ki}$ 是节点 $i$ 到节点 $k$ 的连接权重， $\delta_{k}$ 是节点 $k$ 的误差项

最后编辑于：2019.07.19 18:03:35

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 199,830评论 5赞 468
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 83,992评论 2赞 376
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 146,875评论 0赞 331
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 53,837评论 1赞 271
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 62,734评论 5赞 360
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,091评论 1赞 277
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,550评论 3赞 390
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,217评论 0赞 254
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,368评论 1赞 294
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,298评论 2赞 317
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,350评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,027评论 3赞 315
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,623评论 3赞 303
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,706评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 30,940评论 1赞 255
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,349评论 2赞 346
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 41,936评论 2赞 341

深度神经网络反向传播公式推导

以下对节点处在输出层和隐藏层两种情况分开讨论。

推荐阅读更多精彩内容

以下对 $i$ 节点处在输出层和隐藏层两种情况分开讨论。