引言 我们需要一定的准则来评估不同机器学习模型的优劣，这就引申出损失函数和风险函数。 损失函数：评估模型单次预测的好坏 风险函数：度量平均意义下...

前言 同梯度下降法一样，牛顿法和拟牛顿法也是求解无约束最优化问题的常用方法。牛顿法本身属于迭代算法，每一步需要求解目标函数的海赛矩阵的逆矩阵，计...

综述 机器学习中经常会在损失函数中加入正则项，称之为正则化Regularize。 目的：防止模型过拟合 原理：在损失函数上加上某些规则（限制），...

简介 传统的线性回归模型预测的因变量取值范围为任意实数，在实际应用中我们常常需要对非连续型数据建模，其中一类的典型的数据即是定序数据ordina...

需要泊松回归的原因 对因变量是离散型变量的问题建模时，普通的线性回归模型、定序回归模型和逻辑回归模型已经能解决我们大部分的需求。但有一类特殊的因...

以二分类问题为例，我们假设特征集合为,样本所属类别为,后验概率为： 其中是类的先验概率；是样本相对于类标记的类条件概率；代表样本x出现的概率，但...