我已经忘了秋天，最凄美的时节，含着眼泪我与你分别
不想顾忌太多，冬天已经来了，凛冬的湖面望不见春色
时间是星星的眼睛，忘穿我的困惑
11.4 入门神经网络
介绍了神经网络的四要素：输入、权重、求和、激活函数，用很简单的神经网络（输入层、隐藏层、输出层各只有一个节点）进行了权值训练的数学推导，介绍了反向传播算法
部分内容转载自：零基础入门深度学习(3) - 神经网络和反向传播算法 - 作业部落 Cmd Markdown 编辑阅读器 https://www.zybuluo.com/hanbingtao/note/476663
神经元
sigmoid函数
神经网络
如上图，输入层有三个节点，我们将其依次编号为1、2、3；隐藏层的4个节点，编号依次为4、5、6、7；最后输出层的两个节点编号为8、9。因为我们这个神经网络是全连接网络，所以可以看到每个节点都和上一层的所有节点有连接。比如，我们可以看到隐藏层的节点4，它和输入层的三个节点1、2、3之间都有连接，其连接上的权重分别为w41 w42 w43，那么我们如何计算a4呢？
为了计算节点a4的输出值，我们必须先得到其所有上游节点（也就是节点1、2、3）的输出值。节点1、2、3是输入层的节点，所以，他们的输出值就是输入向量本身。按照上图画出的对应关系，可以看到节点1、2、3的输出值分别是x1 x2 x3 我们要求输入向量的维度和输入层神经元个数相同.
a4
同样，我们可以继续计算出节点a5、a6、a7的输出值。这样，隐藏层的4个节点的输出值就计算完成了，我们就可以接着计算输出层的节点8的输出值：
y1
神经网络的每一层的权重这些参数是神经网络要学习的东西，而层数、层与层之间的连接方式，这些事先由人为给定的量，称为超参数。
神经网络的计算方法：对于每一层而言，对输入向量x（向量）左乘一个权重矩阵W，得到一个新的向量，再对这个向量逐元素应用激活函数，得到该层的输出。
11.6
反向传播算法
假设每个训练样本为(x（向量）, t（向量）) 其中x为样本的特征，t为样本的目标值
神经网络
沿着梯度方向是函数在该点增长最快的方向，反之沿着负梯度方向就是下降最快的方向，这也是神经网络反向传播算法基于负梯度下降的依据。
梯度方向
为什么叫反向传播算法？
要计算每个节点的误差项，就必须先计算与之相连的下一个结点的误差项，这一切不断往下一个节点进行追溯，直到输出层。也就是必须要先计算输出层的误差项，再逐个计算隐藏层，不断更新。
推导：https://www.zybuluo.com/hanbingtao/note/476663应用链式法则进行推导
向量化编程
11.7
很开心，和小铁憨煲了一个多小时的电话粥，互相嫌弃了五十分钟哈哈
又在开会和回来的路上和班长聊了很多很多，又写了学习心得体会，今天还是很充实啊
11.8
为什么神经网络可以拟合任意的函数？
为什么模拟异或运算就代表着能够模拟任意的逻辑函数？
tip：新的surfacepro到了，但是键盘老是失灵，看几分钟代码再敲就会失灵并伴随显示启用自动旋转。哇原来是接触不良切换到平板模式了
神经元
[https://zhuanlan.zhihu.com/p/29633019]知乎专栏神经网络详解
[https://www.cnblogs.com/ms-uap/p/10031484.html]博客园神经网络详解
[https://www.bilibili.com/video/av34151455?p=4]CMU深度学习导论
11.9-11 神经网络拟合
网络结构
import random
import numpy as np
import matplotlib.pyplot as plt
import time
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def target(x):
y = 1 / np.sin(x) + 1 / np.cos(x)
return y
class Network():
def __init__(self, hidden_amount, iteration, learning_rate, max_error, x_min, x_max, x_amount):
self.hidden_amount = hidden_amount
self.iteration = iteration
self.learning_rate = learning_rate
self.max_error = max_error
self.W1 = np.random.random((self.hidden_amount, 1))
self.B1 = np.random.random((self.hidden_amount, 1))
self.W2 = np.random.random((1, self.hidden_amount))
self.B2 = np.random.random((1, 1))
self.X = np.linspace(x_min, x_max, x_amount)
self.T = target(self.X)
self.Y = np.zeros((x_amount, 1))
self.E = np.zeros((self.iteration, 1))
def hidden_layer(self):
error = 0
for i in range(len(self.X)):
x = self.X[i]
hidden_input = np.dot(x, self.W1) - self.B1
hidden_output = np.array([sigmoid(y) for y in hidden_input])
self.Y[i] = np.dot(self.W2, hidden_output) - self.B2
e = self.Y[i] - self.T[i]
error = error + 0.5 * e ** 2
dB2 = -1 * self.learning_rate * e
dW2 = self.learning_rate * e * np.transpose(hidden_output)
dB1 = np.transpose(self.W2) * hidden_output * (1 -hidden_output) * (-1) * e *
self.learning_rate
dW1 = np.transpose(self.W2) * hidden_output * (1 - hidden_output) * x * e * self.learning_rate
self.W1 -= dW1
self.W2 -= dW2
self.B1 -= dB1
self.B2 -= dB2
return error
def iterate(self):
start = time.time()
for i in range(self.iteration):
e = self.hidden_layer()
self.E[i] = e
if e <= self.max_error:
break
print("iteration:", i, "\nerror:", e, "\ntime:", time.time() - start)
plt.title('Blue:Training Red:Simulating')
plt.plot(self.X, self.T, color='blue')
plt.plot(self.X, self.Y, color='red')
plt.show()
xx = np.linspace(0, self.iteration, self.iteration)
plt.title('Error changing')
plt.plot(xx, self.E, color='pink')
plt.show()
a = Network(hidden_amount = 2, iteration = 10000, learning_rate = 0.005, max_error = 0.001, x_min= -1, x_max = 3, x_amount = 40)
a.iterate()
可以sigmoid更换其他的激活函数，可以target更换其他的目标函数
拟合
损失
拟合2
损失2
收获
- 单隐层的神经网络，在神经元足够多且参数合适的情况下，的确能够在我们可接受的误差范围内拟合连续函数
- 在其它参数不变的情况下，增加迭代次数能够明显地提升拟合的效果
- 增加神经元数目时，拟合效果的上限会提高，但一般需要增加迭代次数
- 对于overflow溢出问题，因为定义的sigmoid函数为 1 / (1 + exp(-x))
当x过小时，e的-x次方会太大，当x过大时，e的-x次方会太趋于0
可以增加限制比如当x < -30 时，返回值为9e-15
当x > 30 时，返回值为 1 – 9e-15 - 对于周期函数，可以在单周期内进行拟合，以减小网络负载
- 对于运算问题，若调用numpy进行矩阵运算，完成万次迭代需要十秒级，而若采用for循环进行矩阵内元素运算，完成万次迭代需要分钟级，矩阵运算快3倍以上
- 若是目标函数的峰值过大，单隐层神经网络会因为附近训练样本过少而不能很好的拟合，若是想达到较好的效果至少需要十万级的迭代次数，可以采取拟合sinx和cosx，进而计算出1/sinx + 1/cosx，以减少迭代次数
