近期对BERT系列综述了一番，但记得以前刚接触BERT的时候有很多疑问，之后通过看博客、论文陆续弄明白了。这次就以QA的形式将关于BERT的疑问及其相应解答分享给大家，不足之...
发简信
IP属地：北京
-
BERT面试8问8答
-
BiLSTM-CRF Models for Sequence Tagging（翻译）Abstract（摘要） 在本文中，我们为序列标注任务提出了一系列基于长短时记忆网络 (LSTM)的模型。这些模型包括 LSTM 网络，BI-LSTM 网络，带有条件随机...
-
学习笔记-n-gram中的平滑方法在n-gram语言模型中，一些词语的组合没有在语料中出现过，所以其统计概率会为0，但是这是不合理的。所以需要使用平滑方式调整概率值。平滑的基本思想是降低高概率值，提高低概率值...
-
glove-论文阅读
glove全称是Global Vectors for Word Representation，它是基于全局词频统计的词表征工具，他可以将一个单词表示为一个向量，这些向量捕捉到...
-
学习笔记-word2vec在nlp的世界里，词向量占据了重要的位置，它分布式的表示了单词的语义信息，大幅度的提升了下游任务的效果。 Word2vec根据预测词的方式包括两种模型，skip gram是使...
-
学习笔记-简单概念记录语言模型：衡量一句话是句子的概率假设有句子,根据语言模型计算s的概率为通常还使用n-gram语言模型计算句子概率 1-gram语言模型(uni-gram model): 2-...
-
学习笔记-数据预处理看到一篇数据预处理很全面的文章，所以将链接贴了过来 https://www.jianshu.com/p/37e529c8baa9 对上述文章的补充 词标准化的方式词标准化 分...
-
CCF 疫情期间网民情绪识别 trick分享
多分类问题下面，我们经常会遇到一些指标，比如正在进行的DF平台上的比赛，疫情期间网民情绪识别，用这个trick就能轻易地提分。i数据智能上面提到：如果多类别不均衡的话，这时候...
-
XGBoost: A Scalable Tree Boosting System 阅读笔记摘要 提升树广泛应用于机器学习的各个领域，在这篇论文中，提出了一个新的提升树方式。 1. 介绍 论文的创新点共一下四点： We design and build a high...
-
学习笔记-XGBOOSTXGBOOST是GBDT模型的升级版，同样也用到了adboosting的思想 一 预备知识 XGBOOST是前向加法模型，那么有公式：设表示第n棵树的模型，那么就有所以第k次...
-
FromWord Embeddings To Document Distances-阅读文本相似度是自然语言处理研究热点之一，论文提出了一种新的衡量文本相似度的方法，Word Mover’s Distance (WMD)。此方法利用两个文本的词向量的距离来作为相...
-
学习笔记-随机森林、提升树、GBDT在之前的章节里，学习了集成学习的两个代表方式：bagging和boosting，现在来看如果将bagging和boosting运用在决策树中。 随机森林(random for...
-
Searching and Mining Trillions of Time Series Subsequences under Dynamic阅读最近读了SIGKDD在2010年的最佳论文，Searching and Mining Trillions of Time Series Subsequences under ...
-
-
学习笔记-拉普拉斯先验与L1正则化和高斯先验与L2正则化
在之前的笔记中记录了L1与L2正则化，现在我们来看为什么拉普拉斯先验等同于L1正则化，高斯先验等同于L2正则化。 拉普拉斯先验与L1正则化 拉普拉斯分布 拉普拉斯先验假设数据...
-
-
学习笔记-L1与L2正则化当模型过拟合时，我们常常使用正则化去减轻模型的复杂度。它主要在损失函数后添加正则项去约束模型。 L1与L2正则化 L1 norm :，表示参数的范式。 L2 norm :, ...
