熵的本质是香农信息量，被用于描述一个系统中的不确定性。 在决策树算法中的信息熵: 在反向传播算法中衡量两个分布和差异的交叉熵： KL散度(相对熵)：
IP属地：宁夏
-
矩阵和向量的乘法---点乘、叉乘、内积、外积、数乘、哈达玛积、克罗内克积向量的数乘：用一个数乘以向量中的每个元素 向量的内积：等于对应位置相乘再相加，两个向量的内积的结果是变成一个标量（也叫点乘） 向量的外积：叉乘的运算结果是一个向量而不是一个标...
-
向量的范数
向量的范数是一个标量范数为： 特别地： 0范数为向量中非零元素的个数 1范数为向量元素的绝对值相加 2范数为向量元素的平方和再开方，即高中数学中向量的模 机器学习中的L2惩罚...
-
logistic 回归基本理论 logistic回归的总体思路：线性回归→(激活函数)→线性分类 激活函数即sigmoid函数，即 logistic回归模型表达式： logistic回归模型只做二...
-
卷积神经网络的反向传播1.DNN的反向传播 首先回顾深度神经网络（DNN）的反向传播 forward： Loss Function: backward: w的梯度： b的梯度： 令： 已知，推导上...
-
Glove 原理详细解读本文主要对《GloVe: Global Vectors for Word Representation》进行解读。 尽管word2vector在学习词与词间的关系上有了大进步...
-
Word2vec原理详细解读0. 预备知识 Softmax函数： 哈夫曼树(Huffman Tree) 1.Skip-gram 从图1可以看出Skip-gram就是用当前中心词(banking)预测...
-
BatchNormalization和LayerNormalization神经网络中有各种归一化算法：Batch Normalization (BN)、Layer Normalization (LN)、Instance Normalization ...