接前文命名实体识别V1,以下是近段时间阅读的NER任务的相关论文
1.BiLSTM-CRF
这个方法已经在前文有所介绍,
出自《Bidirectional LSTM-CRF Models for Sequence Tagging -2015》这篇paper
后续的多篇论文都是在此文基础上做出的改进。
该方法的优化目标为:
公式中,矩阵A为状态转移矩阵,f为BiLSTM的分数输出。
2.BiLSTM-CNN-CRF
这个方法已经有所前文有所介绍,
出自《End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF -- 2016》这篇paper
把每个单词的字母作为一个序列,输入CNN得到单词的embedding,如下图:
然后将这个embedding和word embedding级联后输入BiLSTM+CRF中进行标注
3.char-based BiLSTM-CRF
该方法出自《NeuralArchitecturesforNamedEntityRecognition 2016》
4.Radical-based BiLSTM-CRF
这个方法是针对中文NER的,使用的是字级别的特征
该方法出自《Character-Based LSTM-CRF with Radical-Level Features for Chinese Named Entity Recognition--2016》
这篇有意思的地方在于将汉字进行了分解,如下图:
然后用分解后的部分输入BiLSTM生成这个字的embedding,过程如下:
后续的过程就是常规流程
5.Attention-BiLSTM-CRF
该方法出自《An attention-based BiLSTM-CRF approach to document-level chemical named entity recognition -- 2018》
方法流程图如下:
本文的attention层:
根据每步time-step的输出计算一个global vector,每步time-step有不同的权重,将global vector和当前步的BiLSTM输出级联然后输入CRF
对于BiLSTM的输入,使用了Char embedding和Word embeddding,并且加入了额外的特征。
6.IDCNN-CRF
该方法出自《Fast and Accurate Entity Recognition with Iterated Dilated Convolutions -- 2017》
该方法和上述方法有很大区别,没有使用BiLSTM作为“特征提取器”,而是使用了IDCNN这个模型,该模型的最大优势是可以并行执行。与CNN相比,IDCNN可以捕获远距离的信息。