说明：小白学习记录，写文档是为了督促自己学习，零基础开始接触机器学习，刚开始读这本书，只是简单梳理知识啦。向大佬致敬，小白打扰了。
3.1 基本形式
1.问题描述：给定由d个属型描述的示例，其中
在第
个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即
函数形式，
一般用向量形式写成，
其中，
和
学得之后，模型就得以确定。
2.线性模型的优点
（1）形式简单、易于建模，但却蕴含着机器学习中一些重要的基本思想；
（2）许多功能强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得；
（3）线性模型有很好的的可解释型。
3.2 线性回归
”线性回归“试图学得一个线性模型以尽可能准确的预测实值输出标记，也就是试图学得使得
。
注意：对于离散属性，若属性间存在“序”关系，可通过连续化将其转化为连续值；若属性值间不存在序关系，假定有k个属性，则通常转化为k维向量。
如何确定w和b呢？就在于如何衡量f(x)与y之间的差别，因为由上一章学习知道均方误差是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化，即如下图
均方误差有非常好的几何意义，它对应了常用的欧几里得距离（简称欧氏距离），基于均方误差最小化来进行模型求解的方法称为“最小二乘法”，在“线性回归”中最小二乘法就是试图找到一条直线直线，使所有样本到直线的欧氏距离之和最小。
求解w和b使得上式最小化的过程，称为线性回归模型的最小二乘法“参数估计”。
更一般的情形是数据集D，样本有d个属性描述，试图学得使得
，这称为“多元线性回归”。
矩阵逆的计算、满秩矩阵（正定矩阵）、正则化、对数线性回归、广义线性模型、联系函数
3.3 对数几率回归
学习如何使用线性模型进行回归学习，那么分类任务怎么办？——只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。
因为二分类任务其输出标记，而线性回归模型产生的预测值是实值，于是，需要将z转换为0/1值——“单位跃迁”。
单位跃迁函数并不连续，于是有了“替代函数”——对数几率函数
通过使用代替函数对数几率函数，实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率，因此，所得模型称为“对数几率回归”，注意这里虽然是“回归”，但实际是一种分类学习。
优点：（1）它是直接对分类可能性进行建模，无需事先假设数据分布，这样就避免了假设分布不准确带来问题。（2）它不是仅预测出“类别”，而是可得到近似概率预测，这对许多需利用概率辅助决策的任务很有用。（3）対率回归求解的目标函数是任意阶可导的凸函数，有很好的数学性质，现有许多数值优化算法可直接用于求取最优解。
极大似然法、对数似然、凸优化理论、经典的数值优化算法（梯度下降法、牛顿法）
3.4 线性判别分析
1.线性判别分析（LDA）：一种经典的线性学习方法，也被称为“Fisher判别分析”，但严格说稍有不同，前者假设了各类样本的协方差矩阵相同且满秩。
2.LDA的思想：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投射点尽可能远；在对新样本进行分类时，将其投影到同样的这条直线上，在根据投射点的位置来确定新样本的类别，二维示意图如下：
LDA可以从贝叶斯决策理论的角度来阐释，并可证明，当；两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类。
可以将LDA推广到多分类任务中，并且多分类LDA可以有多种实现方法，常用的一种实现是采用优化目标。
若将W视为一个投影矩阵，则多分类LDA将样本投影到d’维空间，d’通常远小于数据原有的属性数d，于是，可通过这个投影来减小样本点的维数，且投影过程中使用了类别信息，因此LDA也常被视为一种经典的监督降维技术。
3.5 多分类学习
1.基本思想：“拆解法”，将多个分类任务拆为若干个二分类任务求解；具体来说，先对问题进行拆分，然后为拆出的每一个二分类任务训练一个分类器，在测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果。
2.拆分策略
（1）一对一（OvO）：将N个类两两配对，从而产生个二分类任务，最终的到
个分类结果，最终结果通过投票产生：即把被预测得最多的类别作为最终分类结果。
（2）一对其余（OvR）：每次将一个类的样例作为正例，所有其它样例作为反例来训练N个分类器。注意：在测试时若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果；若有多个分类器预测为正类，则通常考虑各分类器的预测置信度，选择置信度最大的类别标记作为分类结果。
（3）多对多（MvM）：每次将若干个类作为正类，若干各类作为反类（所以OvO和OvR是MvM的特例）。注意：MvM的正、反类构造必须有特殊的设计，不能随意选取。
3.纠错输出码（ECOC）：一种常用的MvM技术，将编码的思想引入类别拆分，并尽可能在解码过程中具有容错性，ECOC的工作过程主要分为两步：
（1）编码 ：对N个类别做M次划分，每次划分将一部分类别划为正类，一部分划分为反类，从而形成一个二分类训练集；这样一共产生M个训练集，可以训练出M个分类器。
（2）解码：M个分类器分别对测试样本进行预测，这些预测标记组成一个编码，将这个预测编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终的预测结果。
注意：类别划分通过“编码矩阵”指定，编码矩阵有多种形式，主要有二元码和三元码。
4.为什么称为“纠错输出码”?
因为在测试阶段，ECOC编码对分类器的错误有一定的容忍和修正能力；一般来说，对于同一个学习任务，ECOC编码越长，其纠错能力越强，但是，编码越长，意味着所需训练的分类器越多，计算、存储开销都会增大；另外，对有限类别数，可能的组合数目是有限的，码长超过一定范围后就失去了意义。对同等长度的编码，理论上说，任意两个类别之间的编码距离越远，则纠错能力越强。因此，在码长较小时可根据这个原则计算出理论最优编码，然而，码长稍大一些就难以有效地确定最优编码，事实上这是NP难问题。
3.6 类别不平衡问题
1.类别不平衡：在分类任务中不同类别的训练样例数目差别很大的情况。
2.类别不平衡学习的一个基本策略——再缩放
再缩放、欠采样、过采样、阈值移动、代价敏感学习
3.7 阅读材料
1.“稀疏表示”近年来很受关注，但即便对多元线性回归这样简单的模型，获得具有最优“稀疏性”的解也不容易，稀疏问题本质上对应了范数的优化，这在通常条件下是NP难问题。
2.LASSO，通过了范数来近似
范数，是求取稀疏解的重要技术。
3.MvM还有DAG（拆分法）实现方式。
4.代价敏感学习中研究最多的是基于类别的“误分类代价”。
5.“多标记学习”
