公司新闻

腾讯 AI Lab 开源世界首款自动化模型压缩框架Po

  原题目:腾讯 AI Lab 开源全邦首款主动化模子压缩框架PocketFlow

  PocketFlow 框架重要由两一面组件组成,离别是模子压缩/加快算法组件和超参数优化组件,的确布局如下图所示。

  d)汇集蒸馏(network distillation)组件:看待上述种种模子压缩组件,通过将未压缩的原始模子的输出行动出格的监视音讯,指引压缩后模子的磨练,正在压缩/加快倍数稳定的条件下均能够获取0.5%-2.0%不等的精度擢升。

  f)超参数优化(hyper-parameter optimization)组件:大批开垦者对模子压缩算法往往不甚分解,但超参数取值对最终结果往往有着远大的影响,因而团队引入了超参数优化组件,采用了席卷深化研习等算法以及 AI Lab 自研的 AutoML 主动超参数优化框架来凭据的确机能需求,确定最优超参数取值组合。比如,看待通道剪枝算法,超参数优化组件能够主动地凭据原始模子中各层的冗余水准,对各层采用区别的剪枝比例,正在保障知足模子团体压缩倍数的条件下,完成压缩后模子识别精度的最大化。

  a)通道剪枝(channel pruning)组件:正在CNN汇集中,通过对特性图中的通道维度实行剪枝,能够同时下降模子巨细和打算庞大度,而且压缩后的模子能够直接基于现有的深度研习框架实行摆设。正在CIFAR-10图像分类职司中,通过对 ResNet-56 模子实行通道剪枝,能够完成2.5倍加快下分类精度亏损0.4%,3.3倍加快下精度亏损0.7%。

  c)权重量化(weight quantization)组件:通过对汇集权重引入量化拘束,能够下降用于体现每个汇集权重所需的比特数;团队同时供给了看待匀称和非匀称两大类量化算法的扶助,能够敷裕操纵 ARM 和 FPGA 等摆设的硬件优化,以擢升转移端的打算作用,并为改日的神经汇集芯片打算供给软件扶助。以用于 ImageNet 图像分类职司的 ResNet-18 模子为例,正在8比特定点量化下能够完成精度无损的4倍压缩。

  e)众GPU磨练(multi-GPU training)组件:深度研习模子磨练经过对打算资源央求较高,单个GPU难以正在短时候内完毕模子磨练,因而团队供给了看待众机众卡散布式磨练的扫数扶助,以加疾运用者的开垦流程。无论是基于 ImageNet 数据的Resnet-50图像分类模子仍然基于 WMT14 数据的 Transformer 呆板翻译模子,均能够正在一个小时内磨练完毕。[1]

  雷锋网AI科技评论按:腾讯 AI Lab 呆板研习核心今日告示告捷研发出全邦上首款主动化深度研习模子压缩框架—— PocketFlow,并即将正在近期公布开源代码。凭据雷锋网AI科技评论分解,这是一款面向转移端AI开垦者的主动模子压缩框架,集成了此刻主流的模子压缩与磨练算法,贯串自研超参数优化组件完成了全程主动化托管式的模子压缩与加快。开垦者无需分解的确算法细节,即可疾捷地将AI本事摆设到转移端产物上,完成用户数据的当地高效经管。

  深度研习模子的压缩与加快是此刻学术界的酌量热门之一,同时正在工业界中也有着平凡的利用前景。跟着PocketFlow的推出,开垦者无需分解模子压缩算法的的确细节,也不消眷注各个超参数的采取与调优,即可基于这套主动化框架,疾捷获得可用于转移端摆设的精简模子,从而为AI才气正在更众转移端产物中的利用铺平了道途。

  跟着AI本事的飞速成长,越来越众的公司生机正在自身的转移端产物中注入AI才气,然则主流的深度研习模子往往对打算资源央求较高,难以直接摆设到消费级转移摆设中。正在这种状况下,繁众模子压缩与加快算法应运而生,可能正在较小的精度亏损(以至无损)下,有用擢升 CNN 和 RNN 等汇集布局的打算作用,从而使得深度研习模子正在转移端的摆设成为不妨。然则,若何凭据实践利用场景,采取适宜的模子压缩与加快算法以及相应的超参数取值,往往需求较众的专业常识和施行履历,这无疑升高了这项本事看待普通开垦者的运用门槛。

  b)权重寥落化(weight sparsification)组件:通过对汇集权重引入寥落性拘束,能够大幅度下降汇集权重中的非零元素个数;压缩后模子的汇集权重能够以寥落矩阵的体例实行存储和传输,从而完成模子压缩。看待 MobileNet 图像分类模子,正在删去50%汇集权重后,正在 ImageNet 数据集上的 Top-1 分类精度亏损仅为0.6%。

  比拟于费时辛苦的人工调参,PocketFlow 框架中的 AutoML 主动超参数优化组件仅需10余次迭代就能抵达与人工调参相仿的机能,正在颠末100次迭代后搜求获得的超参数组合能够下降约0.6%的精度亏损;通过运用超参数优化组件主动地确定汇集中各层权重的量化比特数,PocketFlow 正在对用于 ImageNet 图像分类职司的ResNet-18模子实行压缩时,博得了划一性的机能擢升;当均匀量化比特数为4比特时,超参数优化组件的引入能够将分类精度从63.6%擢升至68.1%(原始模子的分类精度为70.3%)。

  正在此后台下,腾讯AI Lab呆板研习核心研发了 PocketFlow 开源框架,以完成主动化的深度研习模子压缩与加快,助力AI本事正在更众转移端产物中的平凡利用。通过集成众种深度研习模子压缩算法,并立异性地引入超参数优化组件,极大地擢升了模子压缩本事的主动化水准。开垦者无需介入的确的模子压缩算法及其超参数取值的采纳,仅需指定设定盼愿的机能目标,幸运六合彩下注即可通过 PocketFlow 获得吻合需求的压缩模子,并疾捷摆设到转移端利用中。

  开垦者将未压缩的原始模子行动 PocketFlow 框架的输入,同时指定盼愿的机能目标,比如模子的压缩和/或加快倍数;正在每一轮迭代经过中,超参数优化组件采纳一组超参数取值组合,之后模子压缩/加快算法组件基于该超参数取值组合,对原始模子实行压缩,获得一个压缩后的候选模子;基于对候选模子实行机能评估的结果,超参数优化组件调治本身的模子参数,并采纳一组新的超参数取值组合,以最先下一轮迭代经过;当迭代终止时,PocketFlow 采纳最优的超参数取值组合以及对应的候选模子,行动最终输出,返回给开垦者用作转移端的模子摆设。

  通过引入超参数优化组件,不只避免了高门槛、繁琐的人工调参劳动,同时也使得 PocketFlow 正在各个压缩算法上扫数抢先了人工调参的成效。以图像分类职司为例,正在 CIFAR-10 和 ImageNet 等数据集上, PocketFlow 对 ResNet 和 MobileNet 等众种 CNN 汇集布局实行有用的模子压缩与加快。[1]

  正在 CIFAR-10 数据集上,PocketFlow 以 ResNet-56 行动基准模子实行通道剪枝,并出席了超参数优化和汇集蒸馏等磨练战略,完成了2.5倍加快下分类精度亏损0.4%,3.3倍加快下精度亏损0.7%,且明显优于未压缩的ResNet-44模子; [2] 正在 ImageNet 数据集上,PocketFlow 能够对原来仍旧相当精简的 MobileNet 模子络续实行权重寥落化,以更小的模子尺寸博得好像的分类精度;与 Inception-V1 、ResNet-18 等模子比拟,模子巨细仅为后者的约20~40%,但分类精度基础划一(以至更高)。

  的确地,PocketFlow 通过下列各个算法组件的有用贯串,完成了精度亏损更小、主动化水准更高的深度研习模子的压缩与加快:

联系我们

CONTACT US

联系人:张先生

手机:13988889999

电话:020-66889888

邮箱:a98004.com

地址:广东省广州市番禺经济开发区58号