不同损失函数与激活函数所带来的训练的不同 ,,，导数 对比前两列，最大的不同在,使用交叉熵的模型少乘了一个,而往往是很小的(只在0附近比较大)，所以第二列会比第一列收敛快。 ...
发简信
IP属地：海南
-
深度学习-前向传播与反向传播2
-
这个具体我没做过，最近不做排序这块有点忘记了，对于moultihot的话，如文中所说，需要多个vec聚合成一个vec，求和还是平均还是加权平均还是其他方法我觉得都可以试试
推荐系统-重排序-CTR-DeepFM等DNN模型
概述 关键词：特征组合LR：缺乏特征组合能力，需人工做特征工程GBDT+LR：特种组合能力不强，对高维的稀疏特征应对乏力FM：具有较强的二阶特征组合能力，高阶特征组合应对乏力...
-
深度学习-RNN-循环神经网络1，结构 输入层，它通过一组连接权重接入状态层。变成 隐藏层，它就厉害了。他有两个输入，一是输入层，二是上一个自己。再通过激活函数变成所以，RNN的隐藏层，是在反复更新自己的...
-
深度学习-激活函数与优化器
1，激活函数 具体激活函数参见此篇https://www.jiqizhixin.com/articles/2017-10-10-3 激活函数从图像上来看通常比较简单。他的工作...
-
NLP-Word Embedding-Attention机制attention机制是个坑。要明白attention机制，首先要明白seq2seq要明白seq2sql，首先要明白RNN要明白RNN，首先要明白MLP和BP算法这是atte...
-
深度学习-前向传播与反向传播概述 对于全连接的神经网络(MLP)，其结构看似复杂， 其实只是简单结构的不断重复。这里的简单结构就是sigmoid函数即LR:对于 有 和 标量 使当然随着激活函数的发展...
-
推荐系统-重排序-CTR-DCN-CIN-xDeepFM一个总结https://www.cnblogs.com/xianbin7/p/10661572.html 特征交叉的 元素级bit-wise VS 向量级vector-wis...
-
推荐系统-重排序-CTR-DeepFM等DNN模型概述 关键词：特征组合LR：缺乏特征组合能力，需人工做特征工程GBDT+LR：特种组合能力不强，对高维的稀疏特征应对乏力FM：具有较强的二阶特征组合能力，高阶特征组合应对乏力...
-
推荐系统-重排序-CTR-Wide&Deep模型模型 上图讲得十分清楚：第一层(最下层)黄点和灰点，表示稀疏离散特征。第二层表示对稀疏离散特征embedding后的稠密特征向量。第三层就是深度模型，这里使用了ReLu激活函...
-
推荐系统-重排序-CTR-GBDT+LR概述 GBDT的加入，是为了弥补LR难以实现特征组合的缺点。 LR LR作为一个线性模型，以概率形式输出结果，在工业上得到了十分广泛的应用。其具有简单快速高效，结果可解释，可...
-
推荐系统-重排序-CTR-FM模型及FFM等
1 概述 重排序模型中，特征主要使用离散one-hot编码的特征。这是由任务本身特点与历史发展以及模型特点决定的。首先就任务本身来说，主要涉及到的特征分为用户特征-物品特征-...
-
机器学习-模型评价指标对于机器学习模型性能的评价，我们最常见的指标就是准确率(Accuracy,ACC)，当然，这是针对分类的。那么，除此之外，还有很多其他的指标。前面我们列出的损失函数，其实在某...
-
集成学习-Bagging-随机森林RF
bagging bagging又名Bootstrap aggregating(自助聚合法，很扯的翻译)Bootstrap 又名自助法，是统计学上的概念，核心思想是样本重采样(...
-
-
机器学习-泛化误差与偏差bias与方差Variance
我们之所以需要拟合，就是因为我们难以甚至无法获得全部真实数据如果我们可以获取完备的真实数据集，那么我们压根就不需要做拟合了，我们只要查询就好了。所以，我们能获取的数据，以及能...
-
集成学习-Boosting-GBDT
GBDT （梯度提升树 Gradient Boosting Decision Tree ） GBDT是以决策树（CART回归树）为弱学习器，应用加法模型的boosting算法...
-
决策树-ID3，C4.5，CART决策树 直观上，决策树是一个树结构，从根节点开始，测试待分类项中相应的特征属性（每次只测一个特征维度），并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策...
