在上篇文章中, 我们演示了一个简单的线性回归Demo.
在了解了回归算法中的正向传播和反向传播之后, 我们可以用梯度下降法来进行一个非线性回归的示例.
此次示例中, 我们设置输入样本神经元只有一个, 中间神经元有10个, 输出神经元1个.
神经图.jpg
这里用到了matplotlib.pyplot库, 用来画出我们的训练样本数据图像和我们训练得到的回归图像.
在看下面代码的时候注意, 如果你对回归算法的学习开始于吴恩达先生的深度学习课程, 那么你要注意下面代码中的权重W与样本数据X的顺序与转置问题(相乘顺序与行列转置正好相反, 得到的结果是一样的)
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
#使用numpy来生成500个随机点 (500行 1列)
x_data = np.linspace(-0.5, 0.5, 500)[:, np.newaxis]
#生成干扰值, 矩阵形状与x_data一样
noise = np.random.normal(0, 0.02, x_data.shape)
y_data = np.square(x_data) + noise
#定义两个placeholder
x = tf.placeholder(tf.float32, [None, 1])
y = tf.placeholder(tf.float32, [None, 1])
#定义神经网络中间层(输入层1个神经元, 中间层10个, 所以定义权值的时候是[1, 10], 分别关联输入层和中间层)
Weights_L1 = tf.Variable(tf.random_normal([1, 10]))
biases_L1 = tf.Variable(tf.zeros([1, 10]))
Wx_plus_b_L1 = tf.matmul(x, Weights_L1) + biases_L1
L1 = tf.nn.tanh(Wx_plus_b_L1)
#定义输出层
Weights_L2 = tf.Variable(tf.random_normal([10, 1]))
biases_L2 = tf.Variable(tf.zeros([1, 1]))
Wx_plus_b_L2 = tf.matmul(L1, Weights_L2) + biases_L2
prediction = tf.nn.tanh(Wx_plus_b_L2)
#二次代价函数
loss = tf.reduce_mean(tf.square(y-prediction))
#使用梯度下降法训练
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
with tf.Session() as sess:
#变量初始化
sess.run(tf.global_variables_initializer())
for _ in range(2000):
sess.run(train_step, feed_dict={x: x_data, y: y_data})
#获得预测值
prediction_value = sess.run(prediction, feed_dict={x: x_data})
#画图
plt.figure()
plt.scatter(x_data, y_data)
plt.plot(x_data, prediction_value, 'r-', lw=5)
plt.show()
得到的图像如下
训练结果图.png
可以看到500个数据样本训练2000次之后得到的回归数据图, 与二次图像还是很拟合的.
