欢迎来到萍乡财经杂文网!

萍乡财经杂文网

你想看的都在这里
萍乡财经杂文网
当前位置:

gvlibraryTensorFlow 模型优化工具包:模型大小减半,精度几乎不变!

来源:萍乡资讯 时间:08-10 11:30:47浏览2次

雷锋网ai开发者表示:近日  ,tensorflow推出了一款强大的半精度浮点量化工具  ,可以缩小模型尺寸  ,但几乎不影响精度  。体积小 ,精度高 ,能有效提高cpu和硬件加速器的延迟  。Tensorflow发布了一篇相应的文章  ,简要解释了该工具  ,雷艾丰的开发人员编写如下 。

浮动16量化我们非常高兴能够使用训练有素的浮动16量化作为模型优化工具包的一部分  。这套工具包括:

混合量化

全整数量化

整齐

在计算中  ,半精度是一种二进制浮点计算机数字格式  ,在计算机内存中占16位  。在ieee 754-2008标准中  ,16位base-2格式称为binary16  。它用于在执行算术计算不需要高精度的应用中存储浮点值  ,ieee 754标准规定binary16具有以下格式:

符号位:1位

指数宽度:5位

有效精度:11位(明确存储10位)

图IEEE 754标准下二进制16的格式

经过训练的float16量化减小了张量流lite模型的尺寸(高达50%)  ,同时以较小的精度损失为代价 。它量化从全精度浮点(32位)到降低精度浮点数据类型(ieee fp16)的模型常数(如权重和偏差值)  。

经过训练的float16量化是一种很好的量化张量流lite模型的方法 ,因为它对精度影响很小  ,并且可以显著减小模型尺寸  。在这里  ,您可以查看文档(包括新的浮动图表)  ,以帮助您理解不同的量化选项和场景  。

图2是帮助确定适当量化场景的决策树

降低精度的收益

尤其是当部署到边缘时 ,降低精确度会产生很大的好处  。

模型的尺寸缩小了两倍  。模型中的所有常数值都存储在16位浮点数中  ,而不是32位浮点数中;由于这些常数值通常支配整个模型尺寸  ,模型尺寸通常减少大约一半  。

准确性的损失可以忽略不计 。深度学习模型通常可以产生好的推理结果  ,但精确度不如最初训练时  。在我们对几个模型的实验中  ,我们发现推理的质量几乎没有损失  。例如  ,在图4中  ,mobilinetv2top1的测试结果显示精度降低值小于0.03% 。

模型尺寸测试结果

训练后的float16量化对精度影响很小  ,可以将深度学习模型的大小减小约2倍  。

以下是mobilenet v1和v2模型以及mobilenet ssd模型中的一些测试结果  。其中  ,mobilenet v1和v2的结果是基于imagenet图像识别任务进行测量的 ,而mobilenet ssd模型是基于coco目标检测任务进行评估的 。

图3不同型号下的型号尺寸变化

模型精度测试结果

在ilsvrc 2012图像分类任务中  ,我们评估了标准mobilinetfloat 32模型(和fp16变体)  。在coco目标检测任务中 ,我们评估了mobilenet ssd float32模型及其fp16变体 。

图4不同模型下的精度损失测试结果

如何使用 float16 quantization 工具

用户可以在tensorflow lite转换器上指定经过训练的float16量化  ,即使用经过训练的float32模型 ,将优化设置为默认值  ,然后将目标规范支持的类型设置为float16常量 。

图5模型参数相关设置

转换模型后 ,用户可以像任何其他张量流lite模型一样直接运行模型 。默认情况下  ,模型将在cpu上运行  ,方法是将16位参数“上采样”到32位 ,然后以标准的32位浮点操作执行操作 。在未来的优化过程中  ,我们也希望有更多的硬件支持来加速fp16的计算  ,这样就不需要对半精度值进行“上采样”  ,而是直接计算 。

同时 ,用户也可以在gpu上运行该模型  。我们增强了tensorflow lite gpu代理 ,以接收16位精度参数并直接运行它们(无需像在cpu上那样先转换) 。

在应用程序中  ,用户可以通过tflitegpudelegatecreate函数(文档)创建gpu代理  。请注意  ,在为代理指定选项时  ,请确保将precision_loss_allowed设置为1  ,以便它可以直接在gpu上使用float16操作 。

图6 gup上运行模型的参数设置

有关gpu授权的概述 ,请参考我们之前的帖子 。如果您想了解更多关于此工具的信息 ,可以在colab教程中看到使用float16量化工具的示例  。

原始链接:

Colab教程:

雷锋网人工智能开发者

雷锋的原创文章不得擅自转载  。详情请参考重印说明  。

   

分享到:

请输入搜索内容

最新标签

NEWSTAGS