算法简介 给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类。...
逻辑回归模型 g代表逻辑函数,常用的逻辑函数为sigmoid函数,如下: h0(x)大于等于0.5时,预测为1;h0(x)小于0.5时,预测为0...
线性回归模型 x1,x2...是我们所选取的特征,h(x)是我们所建立的模型,其中有n+1个参数。令x0=1,则 损失函数 作为损失函数,我们的...
概括地说,在神经网络实现预测任务时,引入Attention(注意力)机制能使训练重点集中在输入数据的相关部分,而不是无关部分。 比如说,你将很长...
Seq2Seq模型是RNN最重要的一个变种:N vs M(输入与输出序列长度不同)。 这种结构又叫Encoder-Decoder模型。 原始的N...
全连接神经网络 在利用全连接神经网络进行图像分类时,网络中的神经元与相邻的层上的每个神经元均连接: 输入层代表每个像素,这种网络结构未考虑每个像...
原理简介 对于给定的样本集,按照样本之间的距离大小,将样本集划分为K个簇。让簇内的点尽量紧密的连在一起,而让簇间的距离尽量的大。 如果用数据表达...
信息熵 在文本分类中,假设文本共k类,每类出现的概率是: 其中每个类别的信息熵计算公式: 信息熵代表了不不确定性,不确定性越大,信息熵越大。 假...
点互信息算法(PMI) 基本思想:是统计两个词语在文本中同时出现的概率,如果概率越大,其相关性就越紧密,关联度越高。 PMI > 0;两个词语是...