一、前言 1、什么是分词 在讲分词算法之前,先来研究一下什么是分词?分词是将语句按照语境,以字词为单位划分的一个过程,如下图所示: 2、为什么需...
一、前言 词袋模型是早些年使用的词向量模型,该模型假设每个词都是独立的,仅仅使用词在文章中的频率来决定如何表达词,并将每个词的表达通过组合来表征...
一、简要说明 Bert火遍了2019,不少修行者跃跃欲试,然而训练bert模型是一次很昂贵的过程,想简单地先享受一下成果变得有些困难。幸而goo...
一、引言 偶然有了个歪主意,想看看群里哪些人交流较为频繁,哪些人更倾向于潜水,同时观察哪些人喜欢用哪些词聊天,于是找了个死党群,导出了一份QQ群...
一、引言 在NLP-统计语言模型中已经简要介绍过语言模型的相关知识,该文中已阐述语言模型的应用场景和一些传统的实现方式,本文接着演示n-gram...
一、引言 本文借助Q-learning简单的实现一个机器人认错的demo,先一睹效果: 为了简化问题,笔者给它预设了三个答案: ['你管我', ...
一、引言 在NLP-统计语言模型中简要介绍了统计语言模型的原理和实现方法,以bigram为例,计算了 的概率,这是比较理想的情况,而现实与理想的...
一、问题引出 有时候比较懒,各种文件都堆积在桌面或者某个文件夹,想整理的时候发现已是满屏,不知如何下手!!!笔者最近又遇见此问题,哎,要是能写个...
一、数学模型 1、由来 语言模型起初是为了计算句子的合理性。在我们看来一句话是否合理主要还是判断其是否合乎语法,表达清晰,通俗的来讲就是:说的是...