📜 NLP中的分类问题
🥰 2020年9月4日
一、分词算法
- Jieba分词 http://github.com/fxsjy/jieba
- SnowNLP https://github.com/isnowfy/snownlp
- LTP https://www.ltp-cloud.com/
- HanNLP https://github.com/hankcs/HanLP/
已经解决的问题，直接使用
二、词性标注（POS Tagging）
- 句子中的每个单词被分类为一种词性，如动词，名词等
- 词性标注的过程依赖当前单词以及它的上下文信息
- 词性标注问题也叫做序列标注（sequence labeling）问题
- 很多时候，可以作为上游任务的特征
1. sequence labeling当做分类问题
- 每个单词独立地去做分类
- 对于当前单词以及上下文单词（sliding window）提取特征，并用这些特征去做分类
我想要分析bootcamp这个单词是什么词性，我们可以划定一个范围，例如包含bootcamp附近的一小句话就可以提取各种特征，例如：
-
bootcamp本身可以当做一个特征 -
mp提取最后两个字符 -
camp提取后面四个字符 -
8这个单词由8个字符组成 -
0这个单词是否是大写开头的 -
take the ...take the 加另外的词作为特征
这样我们就得到了一个特征向量feature vector，可以再使用分类模型
但是这种方法论还是存在一定的问题，因为我们是将其一个个词进行分析，并没有将句子的连续性放到句子中考虑，比它更优秀的是下面的方法论
2. sequence labeling当做序列问题
- 利用概率来表示序列
- 考虑单词之间的前后依赖关系
- 常见的算法：
隐马尔科夫模型 (Hidden Markov Model)
条件随机场 (Conditional Random Fields)
现在使用的都是条件随机场的变种，训练模型例如：LSTM-CRF、Ber-BILSTM-CRF，都是基于CRF的，文本领域更倾向于使用CRF
三、命名实体识别（NER）
“张三” 人名
“北京” 地名
