AI模型常见的压缩技术分类
文章目录
- Pruning
- Quantization
- Knowledge distillation
Pruning
Pruning 把模型里一些不重要的权重砍掉，减少网络模型中参数量和计算量，同时尽量保证模型的性能不受影响。
Quantization
Quantization. 模型量化就是将训练好的深度神经网络的权值，激活值等从高精度转化成低精度的操作过程，例如将32位浮点数转化成8位整型数int8，同时我们期望转换后的模型准确率与转化前相近。
Knowledge distillation
Knowledge distillation 将已经训练好的大模型包含的知识，蒸馏（Distill）提取到另一个小的模型中去。