Avatar notebook default
3篇文章 · 2862字 · 1人关注
  • Noise Contrastive Estimation

    问题定义: 噪声对比估计,主要用于解决含有指数归一化因子(配分函数)的极大似然估计困难问题,由于参数出现在指数归一化因子中,求极大似然估计时会出...

  • Hierarchical Softmax

    这里并不想讲词向量嵌入,而是抽象地从机器学习的角度讲下层次softmax;层次softmax主要解决的问题也是巨量目标类引起的参数训练速度慢问题...

  • Resize,w 360,h 240
    softmax with candidate sampling

    Problem:使用softmax时,目标类太多(数万级以上,典型NLP环境),训练时logits的计算量太大,导致使用极大似然估计的时间代价令...

文集作者