吴恩达机器学习 章节4:多变量线性回归

(注意:在使用下标时,我会在下标前面加上‘_’符号来表示后面为下标项。)

4.1 多维特征


第二章节我们所讲的算法的特征值只有一个,但是在实际应用中我们的特征值有多个。


我们先看下图:

房价模型

上图是房价模型的特征和其值的表。


如何表示上图模型中的特征和特征值:

n 代表特征的数量

x^(i) 代表第i个训练实例,是特征矩阵中的第i行,是一个向量

例如x^(2)为: 

x^(2)

x_j^(i) 代表特征矩阵中第i行的第j个特征,也就是第i个训练实例的第j个特征。

例如:对于上图来讲x_2^(2)=3


多变量线性回归下假设函数的改变:

之前我们介绍的假设函数如下:

假设函数
假设函数

我们可以发现,假设函数中有n+1个参数和n个变量,为了方便我们加入 x_0 = 1 。

此时假设函数为:

加入 x_0的假设函数


多变量线性回归下假设函数:

多变量线性回归下假设函数

我们可以看见,引入 x_0 = 1 后并没有改变之前的假设函数,但是却方便了我们进行矩阵运算。


4.2 多变量梯度下降算法


下面是我们之前总结过的公式:

公式

我们的目标仍然是取得代价函数的最小值来使预测更精准。

回归的批量梯度下降算法如下:

批量梯度下降算法

即:

批量梯度下降算法


求导后:

批量梯度下降算法的特征值个数n为1时,如下:

梯度下降算法

批量梯度下降算法的特征值个数特征值个数n为1 >= 1 时,如下:

梯度下降算法

进行模型参数的更新时,表现如下:

模型参数的更新

批量梯度下降算法的使用过程中,计算所有的预测结果后,再进行模型参数的更新,反复循环这个过程最终使得代价函数的值达到我们的要求。


4.3 批量梯度下降算法1:特征缩放


特征缩放:目的是帮助梯度下降算法可以更快的进行收敛。

特征缩放的最简单方法是:

    其中μ_n是平均值,S_n是标准差

特征缩放的最简单方法

举例说明:

以房价问题为例,我们有两个特征分别为房屋尺寸和房屋的房间数量,其中房屋尺寸的值为 0-2000平方英尺,而房间数量的值则是0-5。以两个参数分别为横纵坐标。

等高线图像

在缩放前的上图左图,绘制代价函数的等高线图像呈现出竖扁的状态,在这种情况下梯度下降算法需要很多次的迭代才能收敛。

在上图右图中是我们使用了特征缩放后的等高线图像。通过对特征值x_1和x_2的变换,把特征值缩放到了-1到1之间,等高线图像呈现出一个偏正的圆形,在此种情况下我们可以更快的进行收敛。


缩放程度:

缩放程度

在进行缩放的时候,缩放的结果不能是一个太大的值也不能是一个太小的值。例如上图中特征值缩放后x_1和x_2的取值范围就可以接受,但是x_3和x_4就不行。


详细说明房价例子中的特征缩放:

特征缩放过



4.4  批量梯度下降算法2:学习率


学习率:在梯度下降算法中用α表示,用来控制我们向下收敛的步子大小。

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同,我们需要通过绘制迭代次数和代价函数的图表来观测算法的收敛情况。

比如做出下图的图像,然后根据图像的状态来进行收敛。

图像



怎么解决的?

具体过程?

几种情况

总结


4.5 特征和多项式回归


合适特征值的选择!

比如在特征值基础上创造新的特征值


多项式回归

是什么?干什么的?

注意使用特征缩放






4.6 正规方程(区别于迭代方法的直接解法)


是什么?

直观理解







正规方程在矩阵不可逆情况下的解决方法




©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,340评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,762评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,329评论 0 329
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,678评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,583评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,995评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,493评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,145评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,293评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,250评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,267评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,973评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,556评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,648评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,873评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,257评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,809评论 2 339

推荐阅读更多精彩内容