
3篇文章 · 2862字 · 1人关注
问题定义: 噪声对比估计,主要用于解决含有指数归一化因子(配分函数)的极大似然估计困难问题,由于参数出现在指数归一化因子中,求极大似然估计时会出...
这里并不想讲词向量嵌入,而是抽象地从机器学习的角度讲下层次softmax;层次softmax主要解决的问题也是巨量目标类引起的参数训练速度慢问题...
Problem:使用softmax时,目标类太多(数万级以上,典型NLP环境),训练时logits的计算量太大,导致使用极大似然估计的时间代价令...
文集作者