低精度推理
现有深度学习框架在训练深度神经网络时，往往都会使用 FP32 的数据精度来表示权值、偏置、激活值等。但是当网络很深时，网络参数量大，计算量大。如此大的计算量，如果中间值都使用 FP32 的精度来计算的话，势必会很费时间。这对于嵌入式设备或者移动设备来说，简直就是噩梦。
因此解决此问题的方法之一就是在部署推理时（inference）使用低精度数据，比如INT8，注意此处只是针对推理阶段，训练时仍然使用 FP32 的精度。除此之外，当然还有模型压缩之类的方法。为什么进行低精度推理不会造成太大的精度损失可以参考 Why are Eight Bits Enough for Deep Neural Networks? 这篇博文。
Quantization
最简单的映射方式就是线性映射（或称线性量化，linear quantization）, 就是说映射前后的关系满足下式：
是每一层上每一个 tensor 的换算系数或称比例因子（scaling factor），因此现在的问题就变成了如何确定比例因子。简单的做法如下图所示：
简单的将一个 tensor 中的 -|max| 和 |max| FP32 映射为 -127 和 127，中间值按照线性关系进行映射，这种映射关系为不饱和的（No saturation ），对称的。但是这样做会导致比较大的精度损失。
TensorRT的做法如下图所示：
- 这种做法不是将 ±|max| 映射为 ±127，而是存在一个 阈值 |T| ，将 ±|T| 映射为±127。
- 超出 阈值 ±|T| 外的直接映射为阈值 ±127。这种映射关系为饱和的（Saturate ），不对称的。
- 只要阈值选取得当，就能将分布散乱的较大的激活值舍弃掉，也就有可能使精度损失不至于降低太多。
我们需要一个衡量指标来衡量不同的 INT8 分布与原来的 FP32 分布之间的差异程度。这个衡量指标就是 相对熵（relative entropy），又称为KL散度（Kullback–Leibler divergence，简称KLD）。每一层的 tensor 的 |T| 值都是不一样的，确定每一层的 |T| 值的过程称为 校准（Calibration ）。
Calibration
从验证集 选取一个子集作为校准集（Calibration Dataset），校准集应该具有代表性，多样性，最好是验证集的一个子集，不应该只是分类类别的一小部分。
