1
0
1. 背景与基础 在使用GPT BERT模型输入词语常常会先进行tokenize ，tokenize具体目标与粒度是什么呢？tokenize也有许多类别及优缺点，这篇文章总结...
写了 27464 字，被 14 人关注，获得了 22 个喜欢
目录 一、 检索功能概述 二、 实现逻辑： 检索引擎 分词 文本特征提取 降维 计算词频 计算文本相似度 一、检索功能概述 文本检索系统主要采用...
BPE、WordPiece和SentencePiece
