神经网络拥有很强的预测能力，但它们往往无法知道自己的预测何时可能出错。与此密切相关的是out-of-distribution检测任务，在这个任务中，模型必须确定输入是否超出了...
发简信
IP属地：河南
-
learning confidence for out-of-distribution detection in neural networks
-
Graph Attention Networks作者：Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Yoshua Bengio 来源： ICLR 2018 链接...
-
Adversarial Sampling for Active Learning介绍 我们使用一些传统的监督学习方法做分类的时候，往往是训练样本规模越大，分类的效果就越好。但是在现实生活的很多场景中，标记样本的获取是比较困难的，这需要领域内的专家来进行人...
-
Modeling Localness for Self-Attention Networks
这篇文章与Self-Attention with Relative Position Representations和Convolutional Self-Attention...
-
Deep contextualized word representations (ELMo)
Introduction 作者认为好的word representation模型应该同时兼顾两个问题：一是词语用法在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也...
-
Deep Residual Learning for Image Recognition（ResNet，残差网络）
这篇文章虽然写的是Image Recognition，但是它提出残差网络的思想在其他任务中也有很多应用，具有广泛的借鉴意义。 背景 随着网络结构的加深，带来了两个问题：一是v...
-
Distributed Representations of Sentences and Documents这篇文章作者是word2vec的作者，主要做的工作是paragraph vector，就是把paragraph变成一个固定长度的向量。其中大量的思路借鉴与CBOW和Skip-...
-
Self-Attention with Relative Position Representations
Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. 2018. Self-Attention with Relative Pos...
-
Convolutional Self-Attention Network
文章认为普通的attention存在以下两个问题： 对整个序列使用加权和来计算注意力信息，会使相邻token的注意力被削弱。举个栗子：Amy eat a banana, an...
-
Reinforced Self-Attention Network: a Hybrid of Hard and Soft Attention for Sequence Modeling文章的motivation是将soft attention和hard attention结合起来，使其保留二者的优点，同时丢弃二者的缺点。具体地说，hard attentio...
-
DiSAN: Directional Self-Attention Network for RNN/CNN-Free Language Understanding文章主要介绍了两种Multi-dimensional Self-Attention机制和Directional Self-Attention机制。在此基础上设计了Direct...
-
Attention Mechanism
Attention 表示个输入信息，给定任务相关的查询向量时，注意力函数为:其中为score function，表示在查询向量的注意力大小。 在绝大多数场景中，。 下表总结了...
-
自然语言处理中的词表示词表示是自然语言处理的基础，一个好的词向量在很大程度上决定了后续任务的上限。本文是我最近学习该部分内容的笔记，主要参照的是基于神经网络的词和文档语义向量表示方法研究一文，穿插...
-
从Logistic Regression到Neural NetworkLogistic Regression可能是绝大多数人入门分类所学到的第一个模型，我也不例外。Logistic Regression的函数空间由用下面模型来定义：下图是一个L...
-
机器学习到底在干什么
从第一篇博文发出来之后，将近两个月没有写博客了，这段时间我主要利用假期撸了一篇论文。这不昨天刚投到aaai2019，今天就更博了。我撸的那篇文章是关于attention机制的...
