Exploring Solutions for Embedded Object Detection on Edge Devices

Abstract

Denne masteroppgaven studerer den nåværende state-of-the-art (SOTA) innen effektive datasynsmodeller for enheter med begrenset datakraft. Den presenterer forskning på teknikkene som brukes for å redusere størrelsen og kompleksiteten til CNN-modeller, med fokus på problemreduksjon, effektive mikro- og makroarkitekturer og kvantiseringsteknikker.

Det overordnede målet med prosjektet er å måle anvendeligheten av gjeldende maskinsyn-modeller på IoT-kantenheter og forsøke å øke deres levedyktighet og nedslagsfelt.

For å hjelpe til med forskning og eksperimentering samtidig som temaet om små og effektive nettverk ivaretas er hovedproblemet fokusert på i prosjektet satt til boksløs objektdeteksjon. Denne forenklede oppgaven gir en enklere utfordring for et nevralt nettverk enn konvensjonell gjenstandsdeteksjon, og tillater en mindre modell, samtidig som den er relevant for brukstilfeller i den virkelige verden som inferens direkte på fastmonterte overvåkingskameraer.

Oppgaven inneholder eksperimentell forskning basert på en grundig litteraturgjennomgang og forskning på dagens state-of-the-art. Forskningen tester ut variasjoner og kombinasjoner av forslag fra SOTA-artikler innen effektiv CNN-arkitektur som ble oppdaget i et tidligere litteratursøk. Disse kombineres med andre strategier for å optimalisere effektivitet-nøyaktigheten pareto-kurven til nettverkene. For å oppnå dette, er et sett med begrensninger og retningslinjer formalisert, og en meta-arkitektur for eksperimentering mot det valgte problemet er opprettet.

For å ytterligere forskyve grensene for effektive datasynsmodeller, er byggesteinene basert på dagens toppmoderne tilpasset for binærisering, som er en ekstrem form for kvantisering som kan tillate en enda bedre avveining mellom effektivitet og ytelse enn tradisjonelle metoder. De fullpresisjons- og binariserte versjonene av byggeklossene er implementert i et testmiljø laget for å evaluere og eksperimentere med modeller for senterpunktbasert objektdeteksjon. Det fastsettes en forsøksplan og det lages et forsøksoppsett for rettferdig og robust evaluering av de ulike modellene.

Eksperimentene evaluerer og filtrerer ut kandidatmodellene og -arkitekturene for å komme frem til en endelig foreslått arkitektur rettet mot kantenheter (SBC-er/mikrokontrollere). Reelle referansemålinger og overføringslæringstester utføres på modellene, evaluere hvor godt forslaget fungerer i virkelige scenarier og sammenligne dem med ulike moderne modeller. Ablasjonsstudier utføres for å finne gode avveininger og avdekke muligheter for ytterligere forbedringer i modellene.

Sluttforslaget er en ny løsning for spesialiserte objektdeteksjonsmodeller som kan bygges inn på mikrokontrollere/kantenheter.

This master thesis studies the current state-of-the-art (SOTA) in efficient computervision models for constrained devices. It present research into the techniques used to reduce the size and complexity of CNN models, focusing on problem reduction, efficient micro- and macro-architectures and quantization techniques.

The overall goal of the project is to gauge the applicability of current CV models on IoT edge-devices and attempt to increase their viability.

In order to aid in the research and experimentation while keeping with the theme of tiny and efficient networks, the base problem chosen for the project is boxless object detection. This simplified task presents an easier challenge for a neural network than conventional object detection, allowing for a smaller model, while being relevant to real-world use cases such as on-device inference on mounted surveillance cameras.

The thesis contains experimental research based on a thorough literature review and research into the current state-of-the-art. The research tests out variations and combinations of proposals from SOTA papers in the field of efficient CNN architecture that were discovered in a prior literature search. These are combined with other strategies to optimize the efficiency-accuracy pareto curve of the networks. To do this, a set of constraints and guidelines are formalized, and a meta-architecture for experimentation towards the problem of choice is created.

To further push the boundaries of efficient computer vision models, the building blocks based on the current state-of-the-art are adapted for binarization, which is an extreme form of quantization that may allow for an even better efficiency-performance tradeoff than traditional methods. The full-precision and binarized versions of the building blocks are implemented in a test environment created to evaluate and experiment on models for center-point based object detection. An experimental plan is stipulated and an experimental setup is created for fair and robust evaluation of the various models.

The experiments evaluate and filter out the candidate models and architectures to arrive at a final suggested architecture targeting edge devices. Real-world benchmarking and transfer learning tests are performed on the models, evaluate how well the proposal works in real-world scenarios and comparing them to various state of the art models. Ablation studies are performed to find good trade-offs and uncover possibilities for further improvements in the models.

The end proposal is a novel solution for specialized object detection models that can be embedded on edge devices.