师兄问到的backward时出现NaN和错误不好定位的问题，感觉有必要记录一下 解决方案Automatic differentiation package - torch.a...
IP属地：北京
-
Torch反向传播时出错或者梯度为NaN的问题排查
-
deepspeed指定GPU
单节点全部卡：--master_port=25684 --num_gpus=4 单节点部分卡：--include localhost:1,2,3 注意：不能使用CUDA_VI...
-
权重衰退（weight decay）与暂退法（Dropout）模型的过拟合 将模型在训练数据上拟合的比在潜在分布中更接近的现象称为过拟合（overfitting），出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。 可以看出在...
-
事件的关系：深入理解独立性回顾条件概率：条件概率P(A|B)这个重要概念的核心就是刻画了事件B的发生给事件A是否发生所带来的额外信息 回顾事件独立：在所有的条件概率情况当中，我们注意到一个有趣且重要的...
-
BPE、WordPiece和SentencePiece1. 背景与基础 在使用GPT BERT模型输入词语常常会先进行tokenize ，tokenize具体目标与粒度是什么呢？tokenize也有许多类别及优缺点，这篇文章总结...
-
零宽空格 U+200B 引发的问题及扩展背景 是这样的，最近在写一个微信公众号的处理脚本，用来替换替换文章中的指定内容。 上面的方法是脚本的一部分，用于获取文章中指定字符串所在的 DOM 元素，思路是通过 Node...
-
Ubuntu20.04桌面版Xrdp远程桌面一、安装桌面环境 Ubuntu 服务器通常使用命令行进行管理，并且默认没有安装桌面环境。如果你正在运行 Ubuntu 桌面版，忽略这一步。 在 Ubuntu 源仓库有很多桌面...
-
xshell连接ubuntu显示桌面图形xshell连接ubuntu显示桌面图形 首先本地要安装好XShell和Xmanager软件 Xshell连接的时候勾选上Xmanager 下载安装gnome桌面工具 调用桌面
-
通俗讲解pytorch中nn.Embedding原理及使用函数调用形式 其为一个简单的存储固定大小的词典的嵌入向量的查找表，意思就是说，给一个编号，嵌入层就能返回这个编号对应的嵌入向量，嵌入向量反映了各个编号代表的符号之间的语义关系...
