大白话AI

其他

神经网络量化--per-channel量化

zeropoint,如下图所示:当然,从数学上看这是完全可以实现的,精度也会比较高,但在工程实现上,这种方式就行不通了。我们来看看为什么。假设给
2021年5月24日
其他

神经网络量化入门--Folding BN ReLU代码实现

中没有可学习的参数。默认情况下,我们都设置affine=True。我们沿用之前文章的代码,先定义一个QConvBNReLU模块:class
2020年8月26日
其他

神经网络量化入门--Folding BN ReLU

也有同样的性质。但对于其他绝大部分函数来说,由于它们本身包含其他数学运算,因此就不具备类似性质。总结这篇文章主要介绍了如何把
2020年8月9日
其他

神经网络量化入门--量化感知训练

来调用。另外,之前的代码中输入输出没有加伪量化节点,这在后训练量化中没有问题,但在量化训练中最好加上,方便网络更好地感知量化带来的损失。由于上一篇文章中做量化推理的时候,我发现精度损失不算太重,3
2020年7月11日
其他

神经网络量化入门--后训练量化

「昨天的文章有一个公式显示不全,这里重新更新下」上一篇文章介绍了矩阵量化的基本原理,并推广到卷积网络中。这一章开始,我会逐步深入到卷积网络的量化细节中,并用
2020年7月6日
其他

神经网络量化入门--基本原理

型的整数后,整个网络便完成了量化,然后就可以依据上面的流程做量化推理了。总结这篇文章主要介绍了矩阵量化的原理,以及如何把矩阵量化运用到卷积网络中,实现全量化网络的计算。这中间忽略了很多细节,比如
2020年6月21日