Logistic 回归

这是一个十分基础的分类算法
对于一个二分类问题,我们希望的应该是一条线将空间进行划分,在线的一侧是一类,另一侧就是另一类。
也就是说:
\theta^T x < 0 分为一类
\theta^T x > 0 分为另一类
然后由于是一个二分类问题,我们希望结果压缩到0 和 1 之间
那么我们首先应该想到的是
f(x)=\begin{cases} 1, & x>0\\ 0, & x\leq 0 \end{cases}
\theta^T x传入f(x)可以获得想要的结果

但是
以上的f(x)的数学性质不是很好,不是可导函数,因此要有适当的变形
h(x) = \frac{1}{1+e^{-x}}f(x) 非常像,而且h(x) 的数学性质就非常好,因此是非常常用的一种f(x)的替代函数

那么我们应该怎么理解h(x),显然h(x)是一个连续函数,生成的是连续值 而非 只是 0 和 1 两个值
那么我们可以认为h(x)表示的是结果为1的概率,越大数结果越接近1 就相当于得1的可能性越大, 越小的数结果越接近0 代表结果为1的可能性越小。

开始推导

首先,设h_\theta(x) = \frac{1}{1+e^{-\theta^Tx}}
所以:
P(y=1|x;\theta) = h_\theta(x)
P(y=0|x;\theta) = 1 - h_\theta(x)
写成更一般的形式:
P(y|x;\theta) = h_\theta(x)^{y}(1-h_\theta(x))^{1-y}
因此如果向其传入的是真实的样本分类结果,那么它表示的是分类正确的概率,因此我们显然是想要它越大越好
L(\theta) = \prod_{i=0}^mh_\theta(x^{(i)})^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1 - y^{(i)}}
也就是,我们希望L(\theta)越大越好
这样其实就已经很清晰了,我们想要更新\theta,问题就在于如何增大L(\theta)

以下就是处理如何增大L(\theta)
L(\theta) 全是乘法的,因此取log会使计算更加简单
l(\theta) = \sum_{i=0}^m y^{(i)}log(h_\theta(x^{(i)})) + (1-y^{(i)})log(1 - h_\theta(x^{(i)}))
传统的梯度下降法能获得的是局部最小值,这里面我们想要局部最大值,因此,修改公式,变成梯度上升法
\theta_j = \theta_j + \alpha \frac{\partial}{\partial\theta_j}l(\theta)
求得结果:
\theta_j = \theta_j + \alpha \sum_{i = 1}^{m}x_j^{(i)}(h_\theta(x^{(i)} + y^{(i)}))

以上就是更新公式的全部推导

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,393评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,790评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,391评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,703评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,613评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,003评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,507评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,158评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,300评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,256评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,274评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,984评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,569评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,662评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,899评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,268评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,840评论 2 339

推荐阅读更多精彩内容

  • (雾都旅) 文/菊 大河汇江滨, 倚岩吊楼频; 洪崖滴翠貌, 嘉陵夕照门。 【新韵】九文 (戊戌年.仲夏于重庆) ...
    斌之志阅读 1,936评论 35 63
  • 我说的爱情,不一定要轰轰烈烈,但至少是温暖的! 我说的爱情,有在你见到他的那一刻能够忘记所有不快! 我说的爱情,是...
    氧气小姐1阅读 152评论 0 0
  • 影片《幕后玩家》里面有个段子是这样的: 在雾气弥漫的桑拿屋,钟小年(徐峥 饰)和唐万元给药厂老总讲故事。故事有两个...
    哆啦A梦睿阅读 576评论 0 0