数据处理的第一步自然是将待处理的数据从硬盘或者其他地方加载到程序中，此时读入的是原始文本数据，还需要经过第3章介绍的分句、标记解析等预处理过程转...

一个序列中通常含有多个词向量，那么如何将它们表示为一个多层感知器的输入向量呢？一种方法是将n个向量拼接成一个大小为n×d的向量，其中d表示每个词...

为了评估一组参数的好坏，需要有一个准则，在机器学习中，又被称为损失函数（Loss Function）[2]。简单来讲，损失函数用于衡量在训练数据...

无论是传统的循环神经网络还是LSTM，信息流动都是单向的，在一些应用中这并不合适，如对于词性标注任务，一个词的词性不但与其前面的单词及其自身有关...

在多层感知器中，每层输入的各个元素都需要乘以一个独立的参数（权重），这一层又叫作全连接层（Fully Connected Layer）或稠密层（...

3.1 使用NLTK工具下载简·奥斯汀所著的Emma小说原文，并去掉其中的停用词。 3.2 使用NLTK提供的WordNet计算两个词（不是词义...

内容来自哈工大车万翔老师团队的作品《自然语言处理：基于预训练模型的方法》。本章主要介绍了中英文常用的工具和数据集。 1 NLTK 英文工具集1....

内容来自哈工大车万翔老师团队的作品《自然语言处理：基于预训练模型的方法》。 2.1 基于规则与基于机器学习的自然语言处理方法分别有哪些优缺点？基...

内容来自哈工大车万翔老师团队的作品《自然语言处理：基于预训练模型的方法》。2.4 评价指标 准确率image.png F值精确率（Precisi...