大模型参数多,结构复杂,因此对于它的压缩非常重要,压缩方法包括pruning,Knowledge Distillation,Quantization等等.事实上这方面的论文相对来说并没有那么多.
这里介绍一下剪枝和蒸馏相关技术.
ZTM-pytorchForDL
发表于 更新于
1.8k 7 分钟
1.8k 7 分钟
ZeroToMasteryZero to Mastery Learn PyTorch for Deep Learning上的课程学习
pytorch学习——初探
发表于 更新于
1.2k 4 分钟
1.2k 4 分钟
我并没有系统地翻阅Pytorch文档,一般都是看别人pytorch实现的网络代码,哪里有不懂的再去看.现在找到一些tutorial并做一些简单的尝试.
Autoencoder学习
发表于 更新于
3.8k 14 分钟
3.8k 14 分钟
这种encoder-decoder结构很重要,同时也可以作为学习GAN的前置
深度学习基础知识(二)
发表于 更新于
6.4k 23 分钟
6.4k 23 分钟
深度学习知识第二部分