Github: GitHub - QwenLM/Qwen-VL: The official repo of Qwen-VL (通义千问-VL) chat & pretrain...
发简信
IP属地：浙江
-
-
InternVL 系列调研MLLM模型基本范式： 1.主要调研InternVL 2.0-40B InternVL2-40B: 总计 40.07B; Vit: 5.54B; 143.17M；LLM: ...
-
-
大模型相关计划资料汇总
简单计划： megatron deepspeed 代码阅读笔记（20230925更新中） - 知乎 (zhihu.com)[https://zhuanlan.zhihu.co...
-
Ch03-02. 使用Tensorboardx可视化tensorboard安装pip install tensorboard然后安装tensorboradx~~ pip install tensorboardx~~ pytor...
-
Ch03-01.使用Visdom进行可视化(Pytorch入门)
Visdom的安装很简单，直接使用命令pip install visdom安装即可。 在安装完成后，使用命令python -m visdom.server 在本地启动服务器，...
-
FLAT: 屠榜NERPaper Name: FLAT: Chinese NER Using Flat-Lattice Transformer论文链接https://arxiv.org/pdf/2...
-
-
Ch02-02.数据加载和预处理(Pytorch基础)
Pytorch通过torch.utils.data对一般常用数据加载进行封装，可以容易的实现多线程数据预读和批量加载，并且torchvision已经预先实现了常用图像数据集合...
-
常用深度学习模型压缩和加速模型压缩和加速是两个不同的话题，有时候压缩并不一定能带来加速的效果．压缩重点在于较少网络参数量，加速则侧重在降低计算复杂度，提升并行能力．模型压缩和优化可以从主要三个层次上来...
-
2020-10-03各种LossFunction汇总１. Softmax loss:鼓励目标类别的输出比其他要大，但是从其公式图像上可以看出，Softmax鼓励不同类别特征分开，但是并不鼓励分开很多，所以会出现如下图情况， s...
-
Ch02-01.神经网络包nn和优化器optm(Pytorch基础)
pytorch 官方api[https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#...
-
Ch01-04.数据并行(Pytorch入门)这一讲主要介绍如何使用DataParallel使用多GPU， 1. 导入和参数 Device device = torch.device('cuda:0' if torch....
-
Ch01-03.构建神经网络(Pytorch入门)
使用torch.nn包来构建神经网络上一讲是autograd,nn包以来autograd包来定义模型并求导，一个nn.Module包含各个层和一个forward(input)...
-
Ch01-02.自动求导(Pytorch入门)
自动求导机制 PyTorch 中所有神经网络的核心是 autograd 包。 我们先简单介绍一下这个包，然后训练第一个简单的神经网络。autograd包为张量上的所有操作提供...
-
Ch01-01.Tensor操作(Pytorch入门)
1. 以_结尾操作 2. .size()和.view()方法类似与numpy里面的.shape和.reshape() 3.以结尾的操作都会用结果替换原来变量， 例如x.cop...
-
2020-08-21 GPT3简介GPT-1 论文 Improving Language Understanding by Generative Pre-Training(2018) GPT-2 论文 Lan...
-
(一)Transformer及其attention详解GPT-2是基于海量数据集上训练的基于Transformer的巨大模型。本文探索GPT-2模型架构，重点阐述其中关键的自注意力(self-attention)层。 Part1...