第一个，求的是p(wt=i|wt-1,..wt-n+1),即用前n个词来计算当前词的概率，其中解码空间是整个词表，也就是对于第t个词，我们用前n个词计算他是词表中第i个词的概率；
第二个问题，对所有语料下进行计算概率后求和，其概率为1
神经网络语言模型（NNLM）首先看一个例子： ztc/ 上下/ 齐/ 拼搏/ ，誓为/ 春战/ 做/ 贡献 这句话呢通顺，意思明白，那如果换一下词的位置： 上下/ 齐/ 拼搏/ ztc/ ，春站/ 做/...
更好的阅读体验，请跳转至如何提升bert在下游任务中的性能[https://xv44586.github.io/2020/11/24/fine-tune/] 随着Transf...
更好的阅读体验请跳转至AdaBelief-更稳定的优化器[https://xv44586.github.io/2020/10/25/adabelief/] 对Adam 进行改...
更好的阅读体验请跳转至模型增强(1)利用NLG 增强QA 任务性能[https://xv44586.github.io/2020/08/22/qa-augmentation/...
更好的阅读体验请跳转至模型增强(2) 从label下手[https://xv44586.github.io/2020/09/13/classification-label-a...
更好的阅读体验请跳转至样本不均衡之难易不均衡[https://xv44586.github.io/2020/10/14/focal-loss/] 上篇看样本下菜的FastBE...
更好的阅读体验请跳转至PET-文本分类的又一种妙解[https://xv44586.github.io/2020/10/25/pet/] 之前的一篇《模型增强-从label下...
更好的阅读体验请跳转至Knowledge Distillation (3) 看样本下菜的FastBERT[https://xv44586.github.io/2020/09...
更好的阅读体验请跳转至Knowledge Distillation (2) 知识迁移[https://xv44586.github.io/2020/08/31/bert-01...
更好的阅读体验请跳转至Knowledge Distillation (1) 模块替换之bert-of-theseus-上篇[https://xv44586.github.io...
更好的阅读体验请跳转至Knowledge Distillation (1) 模块替换之bert-of-theseus-下篇[https://xv44586.github.i...
前言 bert中使用的优化器整体是一个带有线性调整学习率的带有 权重衰减 而不进行bias correct的Adam优化器。下面一步一步介绍。 优化器 首先，在上一篇 《深度...
本文尝试通过一个框架来梳理深度学习中的常用优化算法，即从SGD到NAdam。 整体框架 我们设待学习参数为 w , 目标函数为 f(w)， 初始学习率为α。第t时刻的梯度为g...
yolov4出来后，简单做下测试，看到结果还是相当给力的。 注意看中间有个被遮挡的马，在yolov3中是检测不到的，yolov4中检测出来了，精度确实提升了。 那再来测试一下...
深度神经网络由于其巨大的参数量，可以很方便的拟合非常复杂的非线性关系，同时，巨大的参数量也给模型带来了过拟合的问题。为了解决这个问题，也有人提出了早停和加入正则项等手段。而在...
你这电影看了个啥？基本剧情都没看明白还在这评价呢？不管申公豹还是敖丙还是哪吒，三人都是在对抗成见，这么直白的主题都看不明白你就别瞎评论了行吗
为什么被你们吹爆了的《哪吒》，我只看到了满屏的尴尬？昨天我看了个动画片。片子讲的是一个村里有个小孩子自出生起体内就封印了一股强大的妖力，于是村民们把他当做妖怪，畏惧他，疏远他，避之唯恐不及。他表面上满不在乎，在村子里为非作歹，...
