Implementing Artificial Neural Networks in Resource-Constrained Devices

Abstract

Denne rapporten studerer bruken av Dyp Læring (DL) i et Tinge- nes internett (IoT) miljø. Den undersøker implementeringen av Nevrale Nettverk (NN) inferensapplikasjoner i ressursbegrensede enheter. Denne prosedyren anmoder betydelige utfordringer, ettersom slikt utstyr tilbyr begrenset minne og prosesseringskapasitet. Vi sikter mot å utforske hvordan maskinvarerestriksjonene begrenser NN arkitekturene.

Vi har utarbeidet et innebygd DL inferensrammeverk. Det kategoriserer muligheten til å implementere NN instanser med hensyn til det tilgjengelige flashminnet, RAM og prosessorytelsen. Videre viser det instrukser for hvordan man skal redusere dimensjonene til det nevrale nettverket, slik at modellene kan bli implementert og kjører på en spesifikk mikrokontroller, innenfor et brukerspesifisert kjøretidskrav. Det utviklede rammeverket brukes til å måle kompleksitetsbegrensningene ved å prosessere DL på IoT enheter. Vi har i tillegg inspisert hvordan innebygd inferens påvirker modellpresisjon, inkludert bruken av kvantifisering.

Nettverksdybden og -bredden påvirker NN kompleksiteten. Vi fant at størrelsen på implementasjoner påvirker minne- og kjøretidsminnekonsu- meringen og inferenskjøretiden. Dermed skaper hver av maskinvare- og brukerforpliktelsene spesifikke restriksjoner for applikasjonene. Bruken av kvantifisering etablerte essensielle fordeler for alle begrensningene. Videre beholdt de innebygde inferensapplikasjonene prediksjonspresisjonen ved klassifisering, men produserte en viss nedgang ved regresjon.

Våre resultater anskaffer relevant informasjon for den pågående bevegelsen av å desentralisere intelligens. Edge Computing (EC) er et paradigme som distribuerer maskinkraft ved å omfordele ressurser slik at det kommer nærmere dataopprinnelsen. DL er predikert å fungere som et fundamentalt element i prosesseringen og analysen av den enorme datagenereringen. Denne oppgaven bidrar til beriket kunnskap om å implementere DL inferensapplikasjoner i de ressursbegrensede enhetene som finnes ved enden av nettverket.

This report studies the employment of Deep Learning (DL) in an Internet of Things (IoT) environment. It investigates the implementation of Neural Network (NN) inference applications in resource-constrained devices. This procedure imposes substantial challenges, as such equipment provides limited reserves of memory and processing capacity. We aim to discover how the hardware-limitations restrain the NN architectures.

We have derived an embedded DL inference framework. It categorizes the feasibility of NN instances subject to the available flash, RAM, and processor performance. Further, it displays instructions for how to reduce the dimension of the NNs, so that the models can be implemented and run on a particular microcontroller, retaining a user-specified runtime requirement. The developed framework serves to measure the complexity- limits of IoT on-device DL processing. Additionally, we inspected how embedded inference influences model fitness, including the adoption of quantization.

The network depth and width impacts the NN complexity. We found that the implementation volume affects the memory- and runtime memory consumption and the inference runtime. Accordingly, each of the hardware- and user conditions establish specific restrictions for the application proportions. Applying quantization revealed to present essential benefits for all constraints. Further, embedded inference maintained the prediction accuracy with classification and produced a slight decrease with regression.

Our results supply relevant information to the continuous motion of decentralizing intelligence. Edge Computing (EC) is a paradigm which distributes computational power, reallocating resources towards the data origin. DL is predicted to function as a fundamental element to process and analyze the large-scale generation of data. This thesis contributes to an enriched knowledge of implementing DL inference applications in the resource-constrained devices residing at the network edge.