1. 线性回归的一般形式：
f(x) = theta_0 + theta_1*x1 + theta_2* x2 ... + theta_d *xd
确定theta的值，使得f(x)尽可能接近y值。 均方误差是回归中常用的性能度量。即：J(theta)
通过极大似然估计证明 均方误差的合理性，此处：
因为概率论的丢失，所以此处列上：
1. 独立同分布==随机情况下，出现x的概率相同
2. 最大似然估计和中心极限定理，在我这块是一样的，就是正太分布(大体理解)
3. 其实最终就是证明 线性回归中均方误差的合理性。
2. 线性回归损失函数、代价函数、目标函数
目标函数：最终计算函数
损失函数/代价函数： 现在对我的理解意思差不多。初学者还没有往下深究的时间。
3. 线性回归的优化方法
(1. 梯度下降
(2. 最小二乘法矩阵求解
(3. 牛顿法
(4. 拟牛顿法
4. 评价指标
(1. 均方误差
(2. 均方根误差
(3. 平均绝对误差
(4. R^2: 越接近于1，可解释性越强，模型拟合的效果越好。
5. sklearn参数详解
(1. 调用方法
lr = sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)
(2. 参数介绍
fit_intercept:默认为True,是否计算该模型的截距。如果使用中心化的数据，可以考虑设置为False,不考虑截距。注意这里是考虑，一般还是要考虑截距
normalize: 默认为false. 当fit_intercept设置为false的时候，这个参数会被自动忽略。如果为True,回归器会标准化输入参数：减去平均值，并且除以相应的二范数。当然啦，在这里还是建议将标准化的工作放在训练模型之前。通过设置 sklearn.preprocessing.StandardScaler来实现，而在此处设置为false
copy_X : 默认为True, 否则X会被改写
n_jobs: int 默认为1. 当-1时默认使用全部CPUs ??(这个参数有待尝试)
6. 练习题
自行生成数据
1、首先尝试调用sklearn的线性回归函数进行训练；
2、用最小二乘法的矩阵求解法训练数据；
3、用梯度下降法训练数据；
4、比较各方法得出的结果是否一致。
下面是自行生成的数据
import numpy as np
np.random.seed(34)
x = np.random.rand(500,3)
y = x.dot(np.array([4.2,5.7,10.8]))
然后线性回归预测
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
# 调用模型
lr = LinearRegression(fit_intercept=True)
# 训练模型
lr.fit(x,y)
print("估计的参数值为：%s" % (lr.coef_))
#计算R平方
print('R2:%s' % (lr.score(x,y)))
#任意设定变量，预测目标值
x_test = np.array([2,4,5]).reshape(1,-1)
y_hat = lr.predict(x_test)
print("预测值为：%s" % (y_hat))
估计的参数值为：[ 4.2 5.7 10.8]
R2:1.0 #R2=1的原因在于：就是按照x/y线性回归计算出来的值
预测值为：[85.2]
最小二乘法：
class LR_LS():
def __init__(self):
self.w = None
def fit(self, X, y):
# 最小二乘法矩阵求解
self.w = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)
def predict(self, X):
# 使用已经拟合的参数值预测新自标量
y_pred = X.dot(self.w)
return y_pred
if __name__ == "__main__":
lr_ls = LR_LS()
lr_ls.fit(x,y)
print("预估的参数值为：%s" %(lr_ls.w))
x_test = np.array([2,4,5]).reshape(1,-1)
print("预测值为：%s" %(lr_ls.predict(x_test)))
预估的参数值为：[ 4.2 5.7 10.8]
预测值为：[85.2]
梯度下降
class LR_GD():
def __init__(self):
self.w = None
def fit(self, X,y, alpha=0.02, loss = 1e-10): # 设置步长为0.02， 收敛条件为1e-10
y = y.reshape(-1,1)
[m,d] = np.shape(X)
self.w = np.zeros((d))
tol = 1e5
while tol>loss:
h_f = X.dot(self.w).reshape(-1,1)
theta = self.w + alpha*np.mean(X*(y-h_f), axis=0)
tol = np.sum(np.abs(theta-self.w))
self.w = theta
def predict(self, X):
y_pred = X.dot(self.w)
return y_pred
if __name__ == "__main__":
lr_gd = LR_GD()
lr_gd.fit(x,y)
print("估计值： %s" % (lr_gd.w))
x_test = np.array([2,4,5]).reshape(1,-1)
print("预测值：%s" % (lr_gd.predict(x_test)))
估计值： [ 4.20000001 5.70000003 10.79999997]
预测值：[85.19999995]
线性回归加入噪声
e = np.random.normal(loc=0.5,scale=1.5,size=500)
y1 = x.dot(np.array([4.2,5.7,10.8])) + e
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
# 调用模型
lr2 = LinearRegression(fit_intercept=True)
# 训练模型
lr2.fit(x,y1)
print("估计的参数值为：%s" % (lr2.coef_))
#计算R平方
print('R2:%s' % (lr2.score(x,y)))
#任意设定变量，预测目标值
x_test = np.array([2,4,5]).reshape(1,-1)
y_hat = lr2.predict(x_test)
print("预测值为：%s" % (y_hat))
估计的参数值为：[ 4.2556063 5.59592042 10.71939964]
R2:0.9741665139199166
预测值为：[85.18282296]
R2为加入噪声之后的结果。
参考：
https://blog.csdn.net/qq_41023125/article/details/105642208
