贝叶斯决策轮：   对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。  假设有...

Lagrange优化问题：   标准形式的优化问题（原问题）：      其中，自变量。设问题的定义域是非空集合，优化问题的最优值为。则问题...

奇异值分解（Singular Value Decomposition，SVD）： 定义：   任意的实矩阵都可以分解为：    其中，是满足的阶...

Hermitian矩阵：   又被称为厄尔米特矩阵，指的是共轭矩阵。矩阵中的每一个第行第列的元素都与第行列的元素共轭相等。称为的共轭转置，矩阵即...

神经元模型：   ，其中为权值，为阈值通过激活函数处理产生的输出（或）。 感知机：   感知机由两层神经元组成，输入层和输出层，感知机只有一层功...

原理：   每次按照下降的方向进行计算，属于贪心的算法。 算法（就最小二乘法讨论）：   若训练集：  训练函数：  参数向量：  损失函数： ...

基本流程：   略 划分选择：   “信息熵”是度量样本集合纯度最常用的一项指标    “信息增益”是度量某个属性对划分的增益    表示该属性...

信息熵   熵是接收的每条消息中包含的信息的平均量，被称为信息熵、信源熵、平均自信息量，为不确定性的量度。简而言之，越是确定的事，信息熵小，而越...

  若训练样例数正例和反例的差别很大，则会对学习过程造成困扰。例如998个反例，2个正例，那么学习方法只需永远将测试新样本设为反例，那么就会99...