欢迎关注公众号：七只的Coding日志，更多链接[https://mp.weixin.qq.com/mp/profile_ext?action=home&__biz=Mzk0...
发简信
IP属地：湖北
-
-
模型压缩（下）—— 知识蒸馏(Distilling Knowledge)Given an image of a dog, a good teacher network may mistakenly recognize it as cat with...
-
深度互学习为什么使用kldivloss作为损失函数？
最近在实践知识蒸馏过程中，在Pytorch中不同损失函数的作用也各有各的不同。在查看Loss源码时，发现具体的损失函数有_WeightedLoss，L1Loss，NLLLos...
-
模型压缩（上）—— 知识蒸馏(Distilling Knowledge)1. 到底什么是知识蒸馏？ 一般地，大模型往往是单个复杂网络或者是若干网络的集合，拥有良好的性能和泛化能力，而小模型因为网络规模较小，表达能力有限。因此，可以利用大模型学习到...
-
深度学习模型压缩技巧一、首先，为什么网络模型需要模型压缩？ 通常：给定一个精度级别，存在多个达到该精度级别的CNN架构。在同等精度下，具有较少参数的CNN有三大优势： 更高效的分布式训练：分布式...
-
图形学中常见噪声生成算法综述对于普通人而言，噪声通常是都是有害的，而在图形学中，噪声却经常被用来生成一些非常优美的效果，比如天空的云层，地形，水面波形等，还可以用于生成迷宫。 对于图形学而言，噪声通常会...
-
实现常见CNN网络结构中添加注意力(attention)机制目前常见网络结构有许多，例如： LeNet：基于渐变的学习应用于文档识别 AlexNet：具有深卷积神经网络的ImageNet分类 VGGNet：用于大规模图像识别的非常深的...
-
采用时空注意力机制的人脸微表情识别微表情是人自发产生的一种面部肌肉运动，可以展现人试图掩盖的真实情绪。由于微表情面部肌肉变化幅度小、持续时间短所带来的识别准确率低的问题。 最近看了许多关于神经网络学习方面的特...
