论文: http://www.aclweb.org/anthology/D16-1223
Introduction
LSTM已经广泛应用与sequence labeling，又考虑到encoder-decoder模型在机器翻译上的成功，这篇文章就提出一个encoder-labeler LSTM去把句子级别的信息整合到slot filling任务。主要贡献是：
- Proposed an encoder-labeler LSTM to leverage sentence-level information for slot filling.
- Achieved the state-of-the-art F1-score of 95.66% in the slot filling task of the standard ATIS corpus.
Methods
Labeler LSTM(W)
Typical LSTM for slot filling. (W) means words are fed to the LSTM.
缺点：没有考虑label之间的依赖关系Labeler LSTM(W+L)
除了words，上一个时刻的output label也作为隐层的输入。
在训练的时候，输入的是真实label (one-hot-vector)，测试时是预测的label。Encoder-decoder LSTM
机器翻译的encoder-decoder模型，不过不同的是，encoder-labeler接受同样的输入序列两次，而不是一次。Encoder-labeler LSTM(W)
encoder LSTM倒序读入整个句子，最后的隐层中还有整个句子的信息。labeler LSTM和（a）一样，不过初始隐层向量用encoder的最后隐层初始化。Encoder-labeler LSTM(W+L)
encoder和（d）一样，labeler和（d）一样
Experiments
-
ATIS
Encoder-labeler的比对应单labeler的好，W+L相比于W没有提升 -
a large-scale data set
MIT Restaurant + MIT Movie + ATIS
Conclusion
以后可以把encoder-labeler LSTM方法与multi-task (slot filling & intent classification)结合
