量化

Introduction在上个月的时候，谈了一下自己做了半年图像降噪任务的感想 浅谈图像降噪，正好最近在做降噪模型的落地轻量化，也接近年关，写个随笔谈谈自己的工作和感想。在轻量化的领域里，最经典的几个方法，基本不外乎以下几个： 知识蒸馏量化剪枝重参本文…

本文讲述了HAWQ系列的三部曲，HAWQ v1，v2，v3 论文名称： HAWQ: Hessian AWare Quantization of Neural Networks with Mixed-Precision (ICCV 2019) HAWQ-V2: Hessian Aware trace-Weighted Quantization of Neural Networks (NeurIPS 2020) HAWQ-V3: Dyad…

资料来源： https://www.deeplearning.ai/short-courses/quantization-in-depth/权重打包是由于当前的pytorch并不支持int4以下的精度，所以需要用一种别的方式，用8bit的形式来保存4bit，8bit的值。说白了，顾名思义，打包就是两个4位打包成一个8位，4个2位打包成一个8位，用一个值代表几个值。 def pack…

资料来源： Quantization in Depth - DeepLearning.AI， zz123211投稿视频-zz123211视频分享-哔哩哔哩视频由于工作需要进行模型量化，此前从未接触过相关工作，只得从头学起，简单记录一下学习经过，首先，从线性量化和pipeline开始。一开始看的是吴恩达的…