师兄问到的backward时出现NaN和错误不好定位的问题，感觉有必要记录一下 解决方案Automatic differentiation package - torch.a...
IP属地：北京
-
Torch反向传播时出错或者梯度为NaN的问题排查
-
deepspeed指定GPU
单节点全部卡：--master_port=25684 --num_gpus=4 单节点部分卡：--include localhost:1,2,3 注意：不能使用CUDA_VI...
-
权重衰退（weight decay）与暂退法（Dropout）模型的过拟合 将模型在训练数据上拟合的比在潜在分布中更接近的现象称为过拟合（overfitting），出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。 可以看出在...
-
事件的关系：深入理解独立性回顾条件概率：条件概率P(A|B)这个重要概念的核心就是刻画了事件B的发生给事件A是否发生所带来的额外信息 回顾事件独立：在所有的条件概率情况当中，我们注意到一个有趣且重要的...
-
BPE、WordPiece和SentencePiece1. 背景与基础 在使用GPT BERT模型输入词语常常会先进行tokenize ，tokenize具体目标与粒度是什么呢？tokenize也有许多类别及优缺点，这篇文章总结...
-
零宽空格 U+200B 引发的问题及扩展背景 是这样的，最近在写一个微信公众号的处理脚本，用来替换替换文章中的指定内容。 上面的方法是脚本的一部分，用于获取文章中指定字符串所在的 DOM 元素，思路是通过 Node...
-
Ubuntu20.04桌面版Xrdp远程桌面一、安装桌面环境 Ubuntu 服务器通常使用命令行进行管理，并且默认没有安装桌面环境。如果你正在运行 Ubuntu 桌面版，忽略这一步。 在 Ubuntu 源仓库有很多桌面...
-
xshell连接ubuntu显示桌面图形xshell连接ubuntu显示桌面图形 首先本地要安装好XShell和Xmanager软件 Xshell连接的时候勾选上Xmanager 下载安装gnome桌面工具 调用桌面
-
通俗讲解pytorch中nn.Embedding原理及使用函数调用形式 其为一个简单的存储固定大小的词典的嵌入向量的查找表，意思就是说，给一个编号，嵌入层就能返回这个编号对应的嵌入向量，嵌入向量反映了各个编号代表的符号之间的语义关系...
-
加载训练好的BERT参数
将预训练模型中的bert部分取出来加载上去 base_model = BaseModel(config)base_model_dict = base_model.state_...
-
Pytorch 之 forward函数在模型类定义的时候，定义forward函数，其中变量形式（self,x) 在使用Pytorch的时候，模型训练时，不需要调用forward函数，只需要在实例化一个对象中传入对...
-
[激活函数]什么是 ReLU
参考资料：算法基础---ReLU激活函数及其变种[https://blog.csdn.net/putiancaijunyu/article/details/86616304]...
-
解决训练模型每次结果不一样
1.首先是初始化的时候，给权重矩阵 (以及 )的初始值不一样。2.如果我们固定初始值，结果仍有可能不一样，原因在于大部分算法训练时使用的是mini-batch SGD，也就...
-
中文连接词/关联词整理
汉语连接词有哪些 由于本人工作中经常要与咨询人员交流，期间发现在与这类人沟通时，会让人有一种心旷神怡的感觉。但限于本人愚钝，一直未找到他们是如何使沟通变得如此轻松愉悦的。最近...
-
Spring Security验证，用中文配置提示信息
关于Spring Security的使用，之前也整理过一些笔记，但是在提示信息的时候，总感觉还缺点什么？不管是不是前后端分离，我们都希望在登录验证出现错误的时候，能够提示友好...
-
Word Embedding&word2vec最近新接触文本分类问题，对于我来数第一个问题就是Word Embedding这个词到底是什么意思，因此也就开始学习了相关知识http://licstar.net/archiv...
-
基于jieba、TfidfVectorizer、LogisticRegression的搜狐新闻文本分类学习资源来源：容大教育，致以诚挚的谢意。重新编辑：潇洒坤 jieba中文叫做结巴，是一款中文分词工具，官方文档链接：https://github.com/fxsjy/jieb...
-
一起学习正则表达式（六）正则匹配原理转载请注明出处：https://www.jianshu.com/p/5b3316b95fe6[https://www.jianshu.com/p/5b3316b95fe6]本...
