NLP的技术热点方向:
综述
调研综合工业界,学术界当前优秀学术成果,并参考当前ACL,NLP,EMNLP等会议优秀论文(主要借鉴2017年的),以及本人理解。从目前,NLP的两大顶级会议(EMNLP,ACL)来看,基于seq2seq model的优秀结构,Machine translation 持续稳定发力(但是,在就BLEUscore的分数来说,仍然很难做到全语言对的普遍大的提升)。 另一方面,基于神经网络的语言模型这几年出现了较多有趣的应用(创作诗歌,小说等项目)。由于编解码结构(encoder-decoder)的良好表现,深度的跨领域学习逐渐成为热点,近几年使用增强学习的方法在对话系统,图片描述等方面都取得了发展(见附录)。另外,NLP的各大领域优秀文章大部分都采用向量化的方式进行语言的研究,并有持续发展的趋势。同时,端到端的模型成为当前搭建nlp到各领域(图片描述以及自领域的联合问题的一个桥梁。
热点
- 热点一
- 图像的深度理解 (nlp 和 cv的交叉问题,表示学习,视觉推理,建立视觉的知识图谱)
- 这里,指的是对于图片表述意义的理解。当前在图片描述作为nlp和cv结合的一个点(腾讯在mscoco上的cider已经达到了第一)。对于这一点,目前采用端到端模型的较多(详见介绍:https://zhuanlan.zhihu.com/p/28654835 附录)。另外,近几年对于图片深层含义的挖掘,逐渐成为热门。知识图谱和表示学习逐步发展到了对图像和语言的联合建立上,虽然是一个大工程但是对于图像的深层含义表述,是非常重要的。ACL2017的最佳资源也给与了视觉推理语言集(见http://yoavartzi.com/pub/slya-acl.2017.pdf)。
- 热点二
- 基于神经网络的语言模型的发展(语言生成,写作,基于GAN的语言模型)
由于,语言的向量化表示(word embedding),神经网络语言模型(基于LSTM等)的出现,语言模型本身可以更好的结合其他场景进行联合训练。比如看图写诗(见微软的少女诗人小冰),以语言模型作为文本创作的这一话题,从之前使用统计学(markov model) 转移到了neural-based。这一转变降低了语言建模的难度,加速了这一领域的发展,今年的ACL的best demo 便是一个能够自动生成诗歌的系统。(Hafez)。 另外,GAN在图像生成上的表现,使得最近有人试图将他迁移到语言生成这快来,进一步调查发现,语言这块GAN仍然属于一个hard work。 - 热点三
- 端到端模型的变化和改进(增强学习,全cnn结构)
在端到端模型中,近几年有在使用增强学习办法改进end2end。这种机制一定程度减少了exposure bias,另外采用reward机制也能一定程度上规避单一的MLE的不灵活。就论文来讲,分数上都有所的提升(不大)。最近的,就是2017年5月(见https://arxiv.org/abs/1705.04304)提出对于文本摘要使用强化学习,提升了rouge。如2016年对话系统上使用rl,解决了部分对话容易陷入死循环的问题(https://arxiv.org/pdf/1606.01541.pdf)。
另外,使用全cnn结构的end2end模型也比较火热,主要是使用cnn可以大幅降低训练时间,rnn的训练时间较长。最新发表在arixv上的一篇文章(来自facebook AI),使用全cnn结构来训练翻译模型,并且有小幅的bleu score 提升。
to be continue...
附录
- GITHUB 很好的开源项目 (最近更新于2017.11.14) 更新NLP,CV,SPEECH最新的state-of-art的结果,附带论文和代码
https://github.com/RedditSota/state-of-the-art-result-for-machine-learning-problems - ACL best paper:https://www.jiqizhixin.com/articles/2017-08-03-8
- EMNLP best paper:https://mp.weixin.qq.com/s/Y8CqEOhdI7C4eAliDugMcQ
- ACL 2017 最佳资源 资源:http://lic.nlp.cornell.edu/nlvr/
- hafez https://github.com/shixing/poem -- 代码
- tencet 的sca-cnn model
论文:https://arxiv.org/pdf/1611.05594.pdf
代码:https://github.com/zjuchenlong/sca-cnn