这一篇写给自己，想把这个博客好好写下去。 之前机器学习系列会继续写下去， 后面打算写一些推荐系统相关的内容，接下来是EM算法，以及EM的应用例子例如高斯混合模型，然后是HMM...
发简信
IP属地：新疆
-
接下来的一些想法
-
机器学习14 XGBoost
这一篇开始介绍XGBoost。 和GBDT不同， XGBoost不仅仅使用了一阶梯度， 还使用了二阶梯度。同时增加了正则化。 第m步的损失函数： 是第m棵树的复杂度，是前m-...
-
机器学习13 GBDT
这一篇开始讲GBDT(梯度提升决策树)， 根据上一篇可知，该模型每次学习的是损失函数的负梯度。所以基模型是回归树（因为每次都在拟合一个确定的值， 这和提升树不一样了，提升树中...
-
机器学习10 Bagging and Boosting
这一篇， 我们希望提升模型的性能， 除了更多的数据，更好的EDA等，集成学习可以从模型的角度提升模型的学习性能，即将基模型组合成一个大模型。 在介绍集成学习前， 我们先介绍一...
-
机器学习12 提升树模型与梯度提升
这一篇继续boosting，介绍一下提升树算法， 提升树以决策树为基模型， 依然是加法模型，优化算法是前向分步算法。 针对分类问题， 决策树是二叉分类树， 回归问题则是二叉回...
-
机器学习11 AdaBoost 与 前向分步算法
这一篇开始介绍Boosting，我们先介绍Boosting中的第一个模型， AdaBoost, 二分类学习模型 AdaBoost的基本原理，是每次改变样本的权重，增大本次学习...
-
机器学习09 模型性能，选择与泛化能力到现在为止， 我们介绍了一些分类回归的模型， 当然还有许许多多的模型没有介绍， 同时我们到现在还没有对数据有过任何的加工，真实情况下，数据是需要清洗提炼，特征也是需要挖掘和选...
-
机器学习07 SVM
这一讲要开始讲SVM(Support Vector Machine)了，在深度学习流行以前，SVM占据着很重要的位置，它的理论推导是非常优美的。 SVM也是硬分类的一种，因为...
-
机器学习08 决策树模型
前面若干篇幅， 主要讲了线性分类器， 这一节开始， 我们会着重介绍决策树模型， 从https://www.jianshu.com/p/1416565d268c篇章中，可以知道...
-
机器学习05-继续线性分类（软分类）---朴素贝叶斯模型
这一篇开始讲生成式的第一个模型，朴素贝叶斯模型。 我们首先来理解一下概率分类，现在假设有两个类别， Y1，Y2, 某样本X， 要么属于Y1， 要么属于Y2 即 当时， 属于Y...
-
机器学习06-继续线性分类（软分类）---高斯判别分析
这一篇我们介绍另一种生成式模型， 高斯判别分析。 给定数据集，， 我们对数据模型有一些前提假设： , 即 所以 从上一节，我们已经知道了现在我们的目标是最大化联合概率， 即 ...
-
机器学习04-继续线性分类（硬分类）---线性判别分析（LDA）
这一篇会接着介绍硬分类模型-线性判别分析（LDA），也称为fisher判别分析 同样以二分类为出发点， 数据集，是列向量，维度为p， 定义, , 表示标签是1的样本集， 同理...
-
机器学习03-继续线性分类（硬分类）---感知器模型
从上一讲我们可以看到，线性分类其实是打破了线性回归全局线性的特点。具体的分类类型这边不再阐述，上一篇讲了应用比较广的LR，这一篇会说一下剩下的线性分类器。篇幅受限，这一篇我们...
-
机器学习02-从线性回归到逻辑斯蒂回归之前一节，讲了线性回归的一些理解， 其实传统的机器学习方法，和线性回归或多或少都有关系。 线性回归有三个特点， 线性，全局性， 数据未加工， 我们依次来看这个问题。 （1）线...
-
机器学习01-线性回归
概率问题有两大学派，一个是频率派，另一个是贝叶斯派。 频率派的是统计机器学习方法，本质是优化问题，流程可以简化为1.设计模型 2.定义loss function 3.使用算法...
-
机器学习-写这个的一些初衷
以前没有写这个的习惯，总是把笔记做在笔记本上，最近正好闲，想把自己学的，自己理解的写出来，在写的过程中也能加深自己的理解，也能帮助其他人理解。以后可以温故而知新，有新的理解了...