根據(jù)MIT報(bào)道：

深度學(xué)習(xí)無(wú)處不在。人工智能的這一分支可以管理你的社交媒體并為谷歌搜索結(jié)果提供最準(zhǔn)確的服務(wù)。很快，深度學(xué)習(xí)還可以檢查你的生命體征或設(shè)置你的恒溫器。麻省理工學(xué)院的研究人員開(kāi)發(fā)了一種系統(tǒng)，可以將深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)帶到新的、小得多的地方，比如可穿戴醫(yī)療設(shè)備、家用電器中的微型計(jì)算機(jī)芯片，以及構(gòu)成“物聯(lián)網(wǎng)”（IoT）的2500億個(gè)物體。

這個(gè)名為MCUNet的系統(tǒng)設(shè)計(jì)了緊湊的神經(jīng)網(wǎng)絡(luò)，盡管內(nèi)存和處理能力有限，但它為物聯(lián)網(wǎng)設(shè)備上的深度學(xué)習(xí)提供了前所未有的速度和精度。這項(xiàng)技術(shù)可以促進(jìn)物聯(lián)網(wǎng)領(lǐng)域的擴(kuò)展，同時(shí)節(jié)約能源和提高數(shù)據(jù)安全性。

這項(xiàng)研究將在下個(gè)月的神經(jīng)信息處理系統(tǒng)會(huì)議（Conference on Neural Information Processing Systems）上發(fā)表。本文的主要作者是Lin Ji，他是麻省理工學(xué)院電子工程和計(jì)算機(jī)科學(xué)系韓松實(shí)驗(yàn)室的博士生。合著者包括麻省理工學(xué)院的韓松和Lin Yu Jun，麻省理工學(xué)院和臺(tái)灣國(guó)立大學(xué)的Chen Wei Ming，以及麻省理工-IBM沃森人工智能實(shí)驗(yàn)室的John Cohn和Gan Chuang 。

物聯(lián)網(wǎng)的發(fā)展

物聯(lián)網(wǎng)誕生于20世紀(jì)80年代初，卡內(nèi)基梅隆大學(xué)的研究生，Mike Kazar將一臺(tái)可樂(lè)機(jī)連接到互聯(lián)網(wǎng)上。這個(gè)小組的動(dòng)機(jī)很簡(jiǎn)單：懶惰。他們想先用電腦確認(rèn)機(jī)器是否有存貨，然后再?gòu)霓k公室前去購(gòu)買——它是世界上第一臺(tái)聯(lián)網(wǎng)的物聯(lián)網(wǎng)設(shè)備?，F(xiàn)在是微軟工程師的Kazar說(shuō)：“這在很大程度上被看作是一個(gè)笑話的笑料，沒(méi)人料到如今互聯(lián)網(wǎng)上會(huì)有幾十億臺(tái)設(shè)備?！?p>

自從那臺(tái)可樂(lè)機(jī)以來(lái)，日常用品已經(jīng)越來(lái)越多地進(jìn)入物聯(lián)網(wǎng)市場(chǎng)。這包括從可穿戴的心臟監(jiān)護(hù)儀到智能冰箱——可以告訴你何時(shí)牛奶需要補(bǔ)充。物聯(lián)網(wǎng)設(shè)備通常運(yùn)行在微控制器上，微控制器是一種簡(jiǎn)單的計(jì)算機(jī)芯片，沒(méi)有操作系統(tǒng)，最小的處理能力，內(nèi)存不到普通智能手機(jī)的千分之一。因此，像深度學(xué)習(xí)這樣的模式識(shí)別任務(wù)很難在物聯(lián)網(wǎng)設(shè)備上進(jìn)行本地運(yùn)行。對(duì)于復(fù)雜的分析，物聯(lián)網(wǎng)收集的數(shù)據(jù)通常被發(fā)送到云端，使其容易受到黑客攻擊，并且容易受到網(wǎng)絡(luò)延遲及速率的影響。

“我們?nèi)绾螌⑸窠?jīng)網(wǎng)絡(luò)直接部署在這些微小的設(shè)備上？這是一個(gè)非常熱門(mén)的新研究領(lǐng)域?！表n松說(shuō)，“像谷歌和ARM這樣的公司都在朝這個(gè)方向努力。”

圍繞MCUNet一起，韓松團(tuán)隊(duì)共同設(shè)計(jì)了“微小深度學(xué)習(xí)”所需的兩個(gè)組件——微控制器上神經(jīng)網(wǎng)絡(luò)的操作。其中一個(gè)組件是TinyEngine，它是一個(gè)類似于操作系統(tǒng)的、指導(dǎo)資源管理的推理引擎。TinyEngine被優(yōu)化為運(yùn)行特定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它是由MCUNet的另一個(gè)組件TinyNAS選擇的，TinyNAS是一種神經(jīng)結(jié)構(gòu)搜索算法。

系統(tǒng)算法協(xié)同設(shè)計(jì)

為微控制器設(shè)計(jì)一個(gè)深層網(wǎng)絡(luò)并不容易?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)首先從一個(gè)預(yù)先定義的模板中提取大量可能的網(wǎng)絡(luò)結(jié)構(gòu)，然后逐步找到一個(gè)精度高、成本低的網(wǎng)絡(luò)結(jié)構(gòu)。雖然這個(gè)方法有效，但不是最有效的。Lin Ji說(shuō)道：“它可以很好地工作在GPU或智能手機(jī)上，但是很難將這些技術(shù)直接應(yīng)用到微型微控制器上，因?yàn)樗鼈兲×恕！?p>

因此，開(kāi)發(fā)了TinyNAS，一種神經(jīng)結(jié)構(gòu)搜索方法，可以創(chuàng)建自定義大小的網(wǎng)絡(luò)?！拔覀冇泻芏辔⒖刂破?，它們具有不同的功率容量和不同的內(nèi)存大小?！盠in Ji說(shuō)“所以我們開(kāi)發(fā)了算法TinyNAS來(lái)優(yōu)化不同微控制器的搜索空間?！盩inyNAS的定制特性意味著它可以生成緊湊的神經(jīng)網(wǎng)絡(luò)，在排除不必要的參數(shù)的情況下，為給定的微控制器提供最佳性能?！叭缓笪覀儗⒆罱K、高效的模型交付給微控制器?！盠in Ji說(shuō)。

為了運(yùn)行這個(gè)微小的神經(jīng)網(wǎng)絡(luò)，微控制器還需要一個(gè)精簡(jiǎn)的推理機(jī)制。一個(gè)典型的推理機(jī)會(huì)為它很少運(yùn)行的任務(wù)攜帶一些死板的指令。這些額外的代碼對(duì)筆記本電腦或智能手機(jī)來(lái)說(shuō)沒(méi)有問(wèn)題，但它很容易壓倒微控制器?！八鼪](méi)有片外存儲(chǔ)器，也沒(méi)有磁盤(pán)，”韓說(shuō)?！八械臇|西放在一起只是一兆字節(jié)的閃存，所以我們必須非常小心地管理這么小的資源?！盋ue TinyEngine。

研究人員與TinyNAS一起開(kāi)發(fā)了他們的推理機(jī)。TinyEngine生成運(yùn)行TinyNAS定制神經(jīng)網(wǎng)絡(luò)所需的基本代碼。任何不用的代碼都會(huì)被丟棄，這會(huì)減少編譯時(shí)間。“我們只保留我們需要的，”韓松說(shuō)?！白詮奈覀冮_(kāi)始設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)，我們就知道我們需要什么。這就是系統(tǒng)算法協(xié)同設(shè)計(jì)的優(yōu)勢(shì)。”在小組對(duì)TinyEngine的測(cè)試中，編譯后的二進(jìn)制代碼的大小相對(duì)Google和ARM的可比微控制器推理引擎縮小1.9到5倍。TinyEngine還包含減少運(yùn)行時(shí)的創(chuàng)新，包括深度卷積，它將峰值內(nèi)存使用量減少了近一半。在開(kāi)發(fā)了TinyNAS和TinyEngine之后，韓松的團(tuán)隊(duì)對(duì)MCUNet進(jìn)行了測(cè)試。

MCUNet的第一個(gè)挑戰(zhàn)是圖像分類。研究人員使用ImageNet數(shù)據(jù)庫(kù)對(duì)帶有標(biāo)簽的圖像進(jìn)行訓(xùn)練，然后測(cè)試其對(duì)新圖像進(jìn)行分類的能力。在他們測(cè)試的一個(gè)商業(yè)微控制器上，MCUNet成功地對(duì)70.7%的新穎圖像進(jìn)行了分類——之前最先進(jìn)的神經(jīng)網(wǎng)絡(luò)和推理機(jī)組合的準(zhǔn)確率僅為54%?！凹词故?%的改進(jìn)也被認(rèn)為是顯著的，所以這是微控制器人工智能的一個(gè)巨大飛躍?！盠in Ji說(shuō)道。

研究小組在另外三個(gè)微控制器的ImageNet測(cè)試中發(fā)現(xiàn)了類似的結(jié)果。在速度和準(zhǔn)確性上，MCUNet擊敗了競(jìng)爭(zhēng)對(duì)手，即用戶通過(guò)喚醒音（例如“Hey，Siri”）或簡(jiǎn)單地進(jìn)入一個(gè)房間就可以與計(jì)算機(jī)進(jìn)行交互。這些實(shí)驗(yàn)突出了MCUNet對(duì)多種應(yīng)用的適應(yīng)性。

“潛力巨大”

令人期待的測(cè)試結(jié)果給了韓松希望，它將成為微控制器的新行業(yè)標(biāo)準(zhǔn)。“它有巨大的潛力，”他說(shuō)。

加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家Kurt Keutzer表示，這一進(jìn)展“將深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的前沿領(lǐng)域進(jìn)一步擴(kuò)展到小型節(jié)能微控制器的計(jì)算領(lǐng)域。MCUNet可以為最簡(jiǎn)單的廚房設(shè)備帶來(lái)智能計(jì)算機(jī)視覺(jué)功能，或者啟用更智能的運(yùn)動(dòng)傳感器?！?p>

MCUNet還可以使物聯(lián)網(wǎng)設(shè)備更加安全?！耙粋€(gè)關(guān)鍵的優(yōu)勢(shì)是保護(hù)隱私，您不需要將數(shù)據(jù)傳輸?shù)皆贫??！表n松說(shuō)道。

本地分析數(shù)據(jù)可降低個(gè)人信息（包括個(gè)人健康數(shù)據(jù)）被盜的風(fēng)險(xiǎn)。韓松設(shè)想使用MCUNet的智能手表不僅可以感知用戶的心跳、血壓和氧氣水平，還可以分析和幫助他們理解這些信息。MCUNet還可以為互聯(lián)網(wǎng)接入受限的車輛和農(nóng)村地區(qū)的物聯(lián)網(wǎng)設(shè)備帶來(lái)深度學(xué)習(xí)。

另外，MCUNet的計(jì)算能力很小，需求的功耗很小?！拔覀兊淖罱K目標(biāo)是用更少的計(jì)算資源、更少的人力資源和更少的數(shù)據(jù)來(lái)實(shí)現(xiàn)高效、微型的人工智能，”韓松說(shuō)。

附：

極術(shù)社區(qū)發(fā)布并分析了韓松等人的詳細(xì)論文，如下所述：

標(biāo)題&作者團(tuán)隊(duì)

【Happy導(dǎo)語(yǔ)】MIT韓松團(tuán)隊(duì)提出了一種適用于IoT設(shè)備的模型設(shè)計(jì)方案，它將NAS與Engine進(jìn)行了協(xié)同設(shè)計(jì)，從而確保了模型可以更好的在微型處理器上運(yùn)行，同時(shí)具有更高的精度。該文的研究成果將進(jìn)一步加速IoT設(shè)備端的AI應(yīng)用，這個(gè)方向具有非常大的市場(chǎng)前景，期待各位同學(xué)能在該領(lǐng)域取得更多的成果。

Paper: https://arxiv.org/abs/2007.10319

Abstract

基于單片機(jī)(Microcontroller Units, MCU)的微型IoT設(shè)備上的機(jī)器學(xué)習(xí)應(yīng)用是非常有價(jià)值的，但同時(shí)也極具挑戰(zhàn)：?jiǎn)纹瑱C(jī)的內(nèi)存要比手機(jī)內(nèi)存小的多(比如ARM Cortex-M7 MCU僅有320kb SRAM與1MB Flash存儲(chǔ))。

作者提出了MCUNet，一種高效網(wǎng)絡(luò)架構(gòu)搜索(TinyNAS)與輕量推理引擎(TinyEngine)聯(lián)合設(shè)計(jì)的方案，它可以使得ImageNet級(jí)別的推理在微處理器上進(jìn)行運(yùn)行。TinyNAS采用了兩階段的網(wǎng)絡(luò)架構(gòu)索索，在第一階段優(yōu)化搜索空間以適配資源約束，在第二階段進(jìn)行網(wǎng)絡(luò)架構(gòu)搜索。TinyNAS可以在低搜索復(fù)雜度下自適應(yīng)處理不同的約束問(wèn)題(比如設(shè)備、延遲、功耗以及內(nèi)存等)，并與TinyEngine協(xié)同設(shè)計(jì)。TinyEngine是一種內(nèi)存高效的推理庫(kù)，它按照整體網(wǎng)絡(luò)采用了內(nèi)存機(jī)制設(shè)計(jì)，而非傳統(tǒng)的layer模式，它可以降低2.7x的內(nèi)存占用并加速1.7-3.3x的推理速度(相比TF-Lite Micro與CMSIS-NN)。

MCUNet是首個(gè)在現(xiàn)有微處理器產(chǎn)品上達(dá)到70%精度的模型(ImageNet數(shù)據(jù))，相比MobileNetV2與ResNet18，它的更低的SRAM(3.6x)和Flash占用(6.6x)。在視覺(jué)&語(yǔ)音喚醒任務(wù)上，MCUNet取得了SOTA精度，比MobileNetV2和ProxylessNAS快2.4-3.4x，同時(shí)具有更低的SRAM占用(2.2-2.6x)。該研究意味著：永遠(yuǎn)在線的IoT設(shè)備上微型機(jī)器學(xué)習(xí)時(shí)代已經(jīng)到來(lái)了。

Introduction

在我們的生活中，IoT設(shè)備已變得非常常見(jiàn)(據(jù)統(tǒng)計(jì)已達(dá)250B)，并用于方方面面(比如智能制造、個(gè)性化醫(yī)療、農(nóng)業(yè)生產(chǎn)、自助零售等等)。這種低成本、低功耗的微處理器也為微型機(jī)器學(xué)習(xí)的應(yīng)用帶來(lái)了新的機(jī)會(huì)，如能在這類設(shè)備上運(yùn)行AI算法，那么我們可以在端上直接進(jìn)行數(shù)據(jù)分析，進(jìn)而擴(kuò)大了AI的應(yīng)用領(lǐng)域。

然而，微處理器具有非常有限的資源負(fù)載，尤其是SRAM和Flash，要比手機(jī)端或者GPU的資源小的多，這也使得深度學(xué)習(xí)在IoT設(shè)備上的部署具有挑戰(zhàn)性。下圖對(duì)比了GPU、手機(jī)端以及微處理器的資源信息，很明顯在微處理器上運(yùn)行ResNet50、MobileNetV2是不可行的。峰值內(nèi)存占用遠(yuǎn)遠(yuǎn)超出微處理的最大內(nèi)存，兩者之間存在巨大的差距。

注：SRAM可以進(jìn)行讀寫(xiě)，約束了feature-map的大小；flash只可以進(jìn)行讀，約束了模型大小。

image-20200721135847687

不同于云端或者手機(jī)端設(shè)備，微處理器是一種“裸設(shè)備”，它不具有操作系統(tǒng)。所以需要同時(shí)進(jìn)行網(wǎng)絡(luò)架構(gòu)與推理庫(kù)的設(shè)計(jì)以更高效的管理有限的資源并是配合內(nèi)存與存儲(chǔ)負(fù)載。而現(xiàn)有的NAS或手工網(wǎng)絡(luò)架構(gòu)往往聚焦于GPU端或手機(jī)端，它們僅僅對(duì)FLOPs或者推理延遲進(jìn)行優(yōu)化，所得模型并不適合于微處理器。

該文提出了一種系統(tǒng)-模型聯(lián)合設(shè)計(jì)的方案MCUNet，它可以在微處理器上處理ImageNet級(jí)別的任務(wù)。為解決微處理器上稀缺內(nèi)存問(wèn)題，作者聯(lián)合優(yōu)化TinyNAS與TinyEngine以降低內(nèi)存占用。TinyNAS的設(shè)計(jì)基于這樣的一個(gè)假設(shè)：a search space that can accommodate higher FLOPs under memory constraint can produce better model。為處理微處理器上非常緊張的資源約束，還需要設(shè)計(jì)一種內(nèi)存高效的推理庫(kù)以消除不必要的內(nèi)存占用。TinyEngine的改進(jìn)為：TinyEngine improves over the existing inference library with code generator-based compilation method to eliminate memory overhead。它可以降低2.7x的內(nèi)存占用并提升22%推理速度。

Method

下圖給出了作者所設(shè)計(jì)MCUNet聯(lián)合設(shè)計(jì)方案與傳統(tǒng)方案的對(duì)比示意圖，相比傳統(tǒng)方案，MCUNet可以更好的利用微處理器的資源。

image-20200721141427380

TinyNAS

TinyNAS是一種兩階段的NAS方法，它首先優(yōu)化搜索空間以適配不同的資源約束，然后在優(yōu)化空間上進(jìn)行網(wǎng)絡(luò)架構(gòu)搜索。經(jīng)由該優(yōu)化空間，它可以顯著的提升最終模型的精度。在搜索空間方面，作者對(duì)輸入分辨率和網(wǎng)絡(luò)寬度方面進(jìn)行搜索。輸入分辨率范圍，網(wǎng)絡(luò)寬度因子為。大概有108個(gè)可能的搜索空間配置，每個(gè)搜索空間配置包含個(gè)子網(wǎng)絡(luò)。第一階段的目的是尋找具有最高精度且可以滿足資源約束的搜索空間。下圖給出了不同配置搜索空間的FLOPs與CDF示意圖。

image-20200721142019222

在完成搜索空間確認(rèn)后，第二階段的目的是進(jìn)行網(wǎng)絡(luò)架構(gòu)的搜索。采用采用one-shotNAS技術(shù)進(jìn)行網(wǎng)路架構(gòu)搜索。關(guān)于one-shot NAS部分建議各位同學(xué)去看一下Face++的《Single Path One-Shot Neural Architecture Search with Uniform Sampling》一文。

TinyEngine

研究人員往往假設(shè)：不同的深度學(xué)習(xí)框架僅僅影響推理速度而不會(huì)影響模型精度。然而，對(duì)于TinyML而言，推理庫(kù)的高效性不僅影響推理速度，同時(shí)還會(huì)影響搜索到的模型精度。一個(gè)好的推理框架可以更充分的利用MUC的有效資源，避免內(nèi)存占用，從而允許更大的架構(gòu)設(shè)計(jì)空間，而更大的架構(gòu)設(shè)計(jì)空間也意味著更高精度模型。因此，作者將TinyNAS與TinyEngine進(jìn)行協(xié)同設(shè)計(jì)，以獲得內(nèi)存高效的推理庫(kù)。

image-20200721143314434

上圖給出了TinyEngine與現(xiàn)有推理框架在不同維度的對(duì)比?，F(xiàn)有的TF-Lite Micro與CMSIS-NN是解釋型推理框架，它們易于跨平臺(tái)部署，但同時(shí)需要額外的內(nèi)存(在MCU上內(nèi)存是最昂貴的資源)保存架構(gòu)的元信息(比如網(wǎng)絡(luò)架構(gòu)參數(shù))；相反TinyEngine僅僅聚焦于MCU設(shè)備，采用code generator-based進(jìn)行編譯。它不僅避免了運(yùn)行時(shí)解釋耗時(shí)，同時(shí)釋放了額外的內(nèi)存占用，從而允許更大的模型。相比CMSIS-NN，TinyEngine可以降低2.7x內(nèi)存占用，提升22%推理速度。

與此同時(shí)TinyEngine的庫(kù)文件非常輕量，這使得其非常適合于MCU。不同于TF-Lite Micro需要準(zhǔn)備所有的操作(比如conv、softmax)以支持跨模型推理；而TinyEngine僅僅需要編譯必要的操作。下圖給出了TF-Lite Micro、CMSIS-NN與TinyEngien的大小對(duì)比。

TinyEngine為不同層制作特定的核優(yōu)化方案：loops tiling is based on the kernel size and available memory; inner loop unrolling is also specialized for different kernel size。同時(shí)，TinyEngine還進(jìn)行了操作合并，比如Conv+PAd+BN+ReLU。上述優(yōu)化方案可以為模型推理帶來(lái)22%的加速。

Experiments

在實(shí)驗(yàn)方面，作者選用了ImageNet、Visual Wake Word以及Speech Command三個(gè)數(shù)據(jù)集。ImageNet代表了大尺度圖像分類任務(wù)，VWW用于判別是否有人存在，而SC代表了主流的微處理器應(yīng)用場(chǎng)景：語(yǔ)音喚醒。

在模型部署方面，作者采用int8線性量化后部署。MCU選型為STM32F746，它具有320kb SRAM與1MB Flash。直接上結(jié)果咯。Table2的結(jié)果很震撼哦，最優(yōu)模型可達(dá)60.1%精度。

image-20200721150233522

image-20200721150253878

image-20200721150308615

image-20200721150453393

好了，全文到底結(jié)束。上面已經(jīng)對(duì)該文的核心進(jìn)行了簡(jiǎn)單的介紹。但美中不足的是：該文尚未開(kāi)源。

Conclusion

作者提出了一種網(wǎng)絡(luò)架構(gòu)搜索與推理庫(kù)協(xié)同設(shè)計(jì)方案MCUNet，它可以使得深度學(xué)習(xí)在微型硬件設(shè)備(IoT)上運(yùn)行。所提方案在現(xiàn)有微處理器產(chǎn)品中取得前所未有了70.2%(ImageNet)的精度，同時(shí)具有更快的推理速度。該研究意味著：永遠(yuǎn)在線的IoT設(shè)備上微型機(jī)器學(xué)習(xí)時(shí)代已經(jīng)到來(lái)了。