PPT、视频和对应的文章免费开源在:https://chenzomi12.github.io/[https://chenzomi12.github.io/] 都2023年,才...
PPT、视频和对应的文章免费开源在:https://chenzomi12.github.io/[https://chenzomi12.github.io/] 都2023年,才...
当年作为核心SE在MindSpore团队从0到1构建了MindSpore Lite推理引擎,到去年知道的信息是现在在华为和荣耀手机上的AI能力都是基于Lite推理引擎,调用次...
随着深度学习的应用场景的不断泛化,深度学习计算任务也需要部署在不同的计算设备和硬件架构上;同时,实际部署或训练场景对性能往往也有着更为激进的要求,例如针对硬件特点定制计算代码...
1. 到底什么是知识蒸馏? 一般地,大模型往往是单个复杂网络或者是若干网络的集合,拥有良好的性能和泛化能力,而小模型因为网络规模较小,表达能力有限。因此,可以利用大模型学习到...
【AI框架核心技术】这个系列,主要是跟大家一起探讨和学习人工智能、深度学习的计算机系统设计,而整个系统是围绕着我在工作之余所积累、梳理、构建关于AI框架的一些核心技术内容。 ...
CLIP:多模态领域革命者 当前的内容是梳理《Transformer视觉系列遨游》[https://zhuanlan.zhihu.com/p/543227883]系列过程中引...
MobileViT:挑战MobileNet端侧霸主 论文:《MobileViT: Light-weight, General-purpose, and Mobile-frie...
DeiT:注意力也能蒸馏 《Training data-efficient image transformers & distillation through attentio...
何凯明从 CVPR 2020 上发表的 MoCo V1(Momentum Contrast for Unsupervised Visual Representation Le...
MoCo V1:视觉领域也能自监督啦 何凯明从 CVPR 2020 上发表的 MoCo V1(Momentum Contrast for Unsupervised Visua...
说明 MindSpore Python编程规范以PEP8[https://www.python.org/dev/peps/pep-0008/]为基础,参考华为Python通用...
前向操作符重载自动微分实现 在这篇文章里,ZOMI会介绍是怎么实现自动微分的,因为代码量非常小,也许你也可以写一个玩玩。前面的文章当中,已经把自动微分的原理深入浅出的讲了一下...
第一篇自动微分原理[https://zhuanlan.zhihu.com/p/518198564]文章中我们大概初步谈了谈从手动微分到自动微分的过程,第二篇自动微分正反模式[...
一、字母上面的上标输入方法 字母上面的上标输入方法,如表所示,如\bar{a}表示字母a头上有一横线实际上a可以为任意LaTex表达式 符号语法\hat{a}\grave{a...
Vision Transformer(ViT)简介 近些年,随着基于自注意(Self-Attention)结构的模型的发展,特别是Transformer模型的提出,极大的促进...
针对分布式训练服务器的集群进行架构设计,是为了更好地解决机器学习中分布式训练中的通讯问题。目前机器学习中主要由两种分布式架构: 参数服务器架构(Parameter Serve...
过参数化主要是指在训练阶段,在数学上需要进行大量的微分求解,去捕抓数据中的微小变化信息,一旦完成迭代式的训练之后,网络模型推理的时候就不需要这么多参数。而剪枝算法正是基于过参...
二值化网络(BNN) 老板:量化到INT8又怎么样!还不够小!我要把AI模型放在耳机手表里面!! 员工:那我们用二值化网络!!一切都是0和1!! 二值化网络跟低比特量化一样,...
机器学习和深度学习算法流程 终于考上人工智能的研究僧啦,不知道机器学习和深度学习有啥区别,感觉一切都是深度学习 挖槽,听说学长已经调了10个月的参数准备发有2000亿参数的T...