来源：AINLPer微信公众号
编辑: ShuYini
校稿: ShuYini
时间: 2019-8-8
引言
本次给大家分享的是今年腾讯微信AI团队入选ACL的两篇文章，第一篇文章主要是针对中文诗歌生成的问题，介绍中文现代诗歌生产的修饰控制编码器，该编码器具有隐喻、拟人化等修辞功能。第二篇文章主要是针对递归神经网络RNNs在全局信息建模上的不足，提出了一种全局上下文增强的深度转换架构（美其名曰：GCDT）。其在NER、Chunking上都得到了比较好的结果。
First Blood
TILE: Rhetorically Controlled Encoder-Decoder for Modern Chinese Poetry Generation
Contributor : WeChat AI（微信AI团队）
Paper: https://www.aclweb.org/anthology/P19-1192
Code: None
文章摘要
为了将修辞学应用到中文汉语诗歌的生成上，本文提出了一种用于现代汉语诗歌生成的修辞控制编码器。我们的模型依赖于一个连续的潜在变量修辞控制器在编码器中捕获各种修辞模式，然后结合基于修辞的混合物，生成现代汉语诗歌。在隐喻、人格化、自动化的评估方面，我们的模型相比于最先进的基线具有很大的优势，并且人工评估显示，我们的模型生成的诗歌在流畅性、连贯性、意义和修辞美学方面都优于基本方法。
本文三大看点
1、提出的第一个同时使用隐喻和拟人产生现代中国诗歌的作品，并且在提高诗歌美学方面具有很强的优势。
2、提出了一种新颖的隐喻和拟人生成模型。
3、大量的实验表明，我们的模型在自动评估和人工评估方面都优于目前的水平
修辞模型介绍
在介绍模型之前，我们首先形式化生成任务。输入是K个用户提供的关键字来指定的诗歌主题。期望输出是由n行
组成的一首诗。因为我们采用sequence-to-sequence框架和生成一个逐行诗,这个任务可以扮演一个文本生成,需要重复一行一行的输出，行与行之间具有连贯性且与主题相关，即要考虑到之前
行
和主题关键词
。为了控制修辞模式，修辞标签r可以作为用户的输入，也可以作为基于上下文的自动预测值。因此，诗歌行生成的任务可以形式化如下：
主要实验结果
机器评估结果对比：
实际生产效果对比：
Double Kill
TILE: GCDT: A Global Context Enhanced Deep Transition Architecture
for Sequence Labeling
Contributor : 北京交通大学&&微信AI团队
Paper: https://arxiv.org/pdf/1906.02437.pdf
Code: None
文章摘要
目前最先进的序列标记系统通常基于递归神经网络(RNNs)家族。然而，RNNs连续隐藏状态之间的浅连接和全局信息建模的不足限制了这些模型的潜在性能。在本文中，我们试图解决这些问题，并因此提出了一个全局上下文增强的深度转换架构，用于序列标记GCDT。我们在句中的每个位置加深状态转换路径，并进一步使用从整个句中学习到的全局表示来分配每个标记。在两个标准序列标记任务上的实验表明，在只给出训练数据和单词嵌入(Glove)的情况下，我们的GCDT在CoNLL03 NER任务上取得了91.96 F1的成绩，在CoNLL2000分块任务上取得了95.43 F1的成绩，在相同的设置下，GCDT的表现优于最佳报告结果。此外，通过利用BERT作为一个额外的资源，我们得到了最好的结果，在NER上的结果是93.47 F1以及在Chunking上的结果为97.30 F1。
本篇文章三大看点
1、首先介绍了用于序列标记的深度转换体系结构，并在句子级别使用全局上下文表示(GCDT)进一步增强了它。
2、在NER和Chunking这两个主要任务上，GCDT的性能显著优于以前的系统。此外，通过利用BERT作为额外资源来增强GCDT，我们报告了这两个任务的最新进展。
3、对GCDT中的全局上下文表示、模型复杂性和各种组件的影响进行了详细的研究。
GCDT模型介绍
整体的GCDT结构图如下图所示：
Token Represention
给定一个句子使用N个token，我们的模型首先通过连接三个主要嵌入来捕获每个token表示
2、从Glove2初始化的查找表中得到预先训练的词嵌入
3、全局上下文嵌入g是从双向DT中提取。
全局嵌入g是通过全局上下文编码器的所有隐藏状态上的平均池计算得到的(图1中右侧部分)。为简便起见，我们可以将“DT”作为增强门控递归单元(GRU Chung et al.， 2014)，关于DT的更多细节将在下一节中描述。因此g的计算如下:
序列标签编码器
然后，将连接的token嵌入输入序列标记编码器中。
序列标签解码器
考虑到这句话中的第t个单词，将序列标记编码器的输出以及过去嵌入
的标签的输出输入解码器，然后将解码器
的输出转换为
，在标签词汇表上进行最终的softmax。在形式上，将单词
的标号预测为概率方程。
主要实验结果
在CoNLL03上面的结果：
ACED
Attention
更多自然语言处理相关知识，还请关注AINLPer公众号，极品干货即刻送达。
