Logistic回归

介绍

逻辑回归：Logistic Regression，Logit Regression，是一种分类算法，常用于处理二分类，用来表示某件事情发生的可能性。任务是尽可能地拟合决策边界。
应用：银行信用卡欺诈可能性（是欺诈消费、不是欺诈消费）、下雨的可能性（下雨、不下雨），购买一件商品的可能性（买、不买），广告被点击的可能性（点、不点）

线性回归与逻辑回归

线性回归：y=ax+b，在已知几组数据(x,y的历史数据情况下，如何预测给定一个新的自变量x时y的值呢？显然需要先计算出两个位置参数a,b的值，然后才可以进行预测。
但是在实际生活中，因变量yy的会受到很多 $X=(x_0,x_1,\dots,x_n)$ 的影响，两个之间的关系也非线性关系那么简单直接。可能是线性的、可能是多项式曲线型的、还有可能是多维空间的平面……
y=ax+b输出的是连续值，但因变量也有可能是离散值
线性回归的分类问题与逻辑回归分类：

.png

阶跃函数

如果某个函数可以用半开区间的指示函数的有限次线性组合来表示，那么这个函数就是阶跃函数。阶跃函数是有限段分段常数函数的组合。

$\begin{equation} F(x)=\left\{ \begin{array}{rcl} 0 & & {x<0}\\ 1 & & {x\geq 0}\\ \end{array} \right. \end{equation}$

[图片上传失败...(image-cb2e92-1618128584134)]

Sigmoid函数

然而逻辑回归是一个概率模型，我们需要的输出结果在(0,1)之间，所以需要一个“映射函数”：逻辑回归中常用的映射函数就是Sigmoid函数
$S(x)=\frac{1}{1+e^{-x}}$

但是，逻辑回归的目标是解决二分类问题，在得到了一个概率值之后还需要对这个概率值进行“分类”。当概率值大于0.5时把样本归为正类、当概率值小于0.5时把样本归为负类。
$\begin{equation} g(x)=\left\{ \begin{array}{rcl} 0 & & {f(x) < 0.5}\\ 1 & & {f(x)\geq 0.5}\\ \end{array} \right. \end{equation}$

Logistic分布

累计分布函数：
$F(x)=P(X\leq x)=\frac{1}{1+e^{-(x-\mu)/s}}$

概率密度函数：
$f(x)=F^{'}(X\leq x)=\frac{e^{-(x-\mu)/s}}{s(1+e^{-(x-\mu)/s})^2}$

其中μ表示位置参数，s表示形状参数。形状类似正态分布、但峰度更高、尾部更长。

二项Logistic回归模型

二项Logistic回归模型是一种由条件概率分布P(Y|X)表示的分类模型，以nn维随机变量XX为输入，Y∈{0,1}为输出：
$P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}$
$P(Y=0|x)=\frac{1}{1+exp(w\cdot x+b)}$

其中w也是一个n维的权值向量，b为偏置。Logistic回归只需要比较这两个条件概率值的大小，选择概率较大的那一类即可。
但是，上述式子仍显累赘。若令 $w=(w^{(1)},w^{(2)},\dots,w^{(n)},b)^{T}, x=(x^{(1)},x^{(2)},\dots,x^{(n)},1)^{T}$ ，那么上面两式可以转化为:
$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}$
$P(Y=0|x)=\frac{1}{1+exp(w\cdot x)}$

几率(Odds)

统计学中，几率表示事件发生的概率p与事件不发生的概率1−p的比值 $\frac{p}{1-p}$ 。
在Logistic回归模型中，几率取对数后表示为：
$log\frac{P(Y=1|x)}{1-P(Y=1|x)}=log\big(exp(w\cdot x)\big)=w\cdot x$

也就是说，在Logistic回归模型中，输出Y=1的对数几率是输入xx的线性函数。

若线性函数趋近正无穷，概率值P(Y=1|x)就越接近1，
若线性函数趋近负无穷，概率值P(Y=1|x)就越接近0。逻辑回归的主要思想就是：先拟合决策边界、然后由映射函数建立边界与分类概率的联系。

何为最优？

极大似然估计

已知一些样本，需要寻找一组参数使得现有样本出现概率最大化。
因为逻辑回归假设之一是样本服从伯努利分布，若令：
$P(y=1|X)=p(x)$
$P(y=0|X)=1-p(x)$

则似然函数可表示为：
$L(w)=\prod_{i=1}^n\big[\big(1-p(X_i)\big)^{1-y_i}p(X_i)^{y_i} \big]$

对数似然：
$logL(w)=\sum_{i=1}^N\bigg((1-y_i)log\big(1-p(X_i)\big)+y_ilog\big(p(X_i)\big)\bigg)$
$logL(w)=\sum_{i=1}^n\bigg[(1-y_i)log \bigg (1-\frac{1}{1+e^{-\theta^TX_i}}\bigg)+y_ilog \bigg(\frac{1}{1+e^{-\theta^TX_i}}\bigg)\bigg]$
$logL(w)=\sum_{i=1}^n\bigg[y_i(\theta^TX_i) + log(1+e^{-\theta^TX_i})\bigg]$

损失函数（Loss/Cost Function）

用于衡量预测值与实际值的偏离程度，损失函数的值越小表示分类器越精准。“最优参数”就是使得损失函数取最小值。

0-1损失函数：预测值与实际值不相等为1，相等为0.直接判断错分的个数。
平方损失函数：误差平方和，常用于线性回归。
对数损失函数：常用于模型输出时每一类概率的分类器，例如逻辑回归。
Hinge损失函数：分类正确损失为0，否则损失为 $1-yf(x), y=1或-1, f(x)\in (-1,1)$ ，SVM。

对数损失函数也叫交叉熵损失函数。熵代表某个事件的不确定性，交叉熵代表两个概率分布(预测与真实)之间的差异性。通过最小化交叉熵损失函数就可以最大化逻辑回归分类器的精度。（补充：交叉熵损失的选取与最大熵模型有关）

表达式
$Loss=-\frac{1}{N}\sum_{i=1}^N[y_ilog(\hat{y}_i)+(1-y_i)log(1-\hat{y}_i)]$

其中 $y_i$ 表示第ii个真实值， $y^_i$ 是第i个预测值， $y_i,\hat{y}_i \in \{0,1\}$ 。

损失函数解释一下：

当真实值 $y_i=1$ 时， $Loss = -\frac{1}{N}\sum_{i=1}^Nlog(\hat{y}_i)$ ;
当真实值 $y_i=0$ 时， $Loss = -\frac{1}{N}\sum_{i=1}^Nlog(1-\hat{y}_i)$ ；

.png

将 $\hat{y}=f(X)=\frac{1}{1+e^{-\theta^TX}}$ 代入上式：
$Loss=-\frac{1}{N}\sum_{i=1}^N\bigg[y_ilog \bigg(\frac{1}{1+e^{-\theta^TX_i}}\bigg)+(1-y_i)log \bigg (1-\frac{1}{1+e^{-\theta^TX_i}}\bigg) \bigg]$
$Loss=-\frac{1}{N}\sum_{i=1}^n\bigg[y_i(\theta^TX_i) - log(1+e^{-\theta^TX_i})\bigg]$

对数似然与对数损失函数的关系：
$Loss = -\frac{1}{N}logL(w)$

求解参数方法

梯度下降法

通过损失函数Loss对参数w求一阶偏导来确定方向，并且确定步长α，来更新w：
$w_i^{k+1}=w_i^k -\alpha \frac{\partial Loss}{\partial w_i}$

直到| $|Loss(w^{k+1})-Loss(w^k)|$ 小于某个阈值或达到最大迭代次数停止。

牛顿法

在现有极小点估计值的附近对Loss做二阶泰勒展开，进而找到极小点的一个估计值，设 $w^k$ 为当前极小值估计值，那么有：
$\phi(w) = Loss(w^k)+Loss'(w^k)(w-w^k)+\frac{1}{2}Loss''(w^k)(w-w^k)^2$

然后令 $\phi'(w) =0$ ，可以得到 $w^{k+1}=w^k-\frac{\partial Loss'(w^k)}{\partial Loss''(w^k)}$

训练模型：输入数据集为 $(X_i, y_i), i = 1,2,\dots,n$ 上式中只有θ这个向量是未知的。只要能够找到一个参数向量θ使得L最小，那么这个θ就是最优的参数向量。
使用模型：将得到的最优θ带入 $f(X)=\frac{1}{1+e^{-\theta^TX}}$ ，然后根据一个阈值调整到0或1，就得到了样本的所属分类。

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 203,456评论 5赞 477
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,370评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,337评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,583评论 1赞 273
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,596评论 5赞 365
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,572评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,936评论 3赞 395
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,595评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,850评论 1赞 297
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,601评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,685评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,371评论 4赞 318
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,951评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,934评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,167评论 1赞 259
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 43,636评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,411评论 2赞 342