Vis enkel innførsel

dc.contributor.advisorStahl, Annette
dc.contributor.advisorHatleskog, Johan
dc.contributor.advisorUtstumo, Trygve
dc.contributor.authorKaldvansvik, Kevin Karlsholm
dc.date.accessioned2022-05-11T17:19:58Z
dc.date.available2022-05-11T17:19:58Z
dc.date.issued2022
dc.identifierno.ntnu:inspera:91918311:45155791
dc.identifier.urihttps://hdl.handle.net/11250/2995318
dc.description.abstractMotivasjonen bak dette arbeidet er å foreslå et nytt visuelt sporingssystem av ressurser med målet om å lokalisere, identifisere og telle antallet konteinere i et utendørs industrielt miljø. Dette oppnås ved å bruke den firbeinte roboten Spot, som tar 360-bilder under inspeksjoner for å prosesseres i systemet ved hjelp av teknikker i datasyn. Tradisjonelle sporingssystemer er avhengig av å bruke RFID, GPS og BLE teknologi som er kjent for å være dyrt å skalere og ikke gjennomførbart for enkelte ressurser. Dette arbeidet har som mål å utvide forskningen på sporingssystem av ressurser ved å ta en visuell tilnærming til problemet. Et skreddersydd datasett bestående av bilder og videoer av konteinere på industrielle områder i forskjellig værforhold var konstruert for å evaluere systemet. Den foreslåtte metoden starter med å fjerne bildeforvrengninger og detekterer konteinere i bildene ved å utnytte en trent EfficientDet detektor. Spor blir deretter skapt ved å bruke sporing-ved-deteksjon metoden SORT, som resulterer i at konteinere blir for det meste- og delvis sporet. Sporene blir triangulert for å skape konteiner punktskyer som er tilpasset sfæriske konteiner-modeller ved RANSAC, hvor en grådig sammenslåing er foreslått for å slå sammen overlappende modeller. Det resulterende systemet lokaliserte 80% av konteinerne i solfullt og overskyet vær, hvor 75% er lokalisert riktig i forhold til fasiten. Identifiseringen er oppnådd ved detekteringen av fiducial-markører, hvor 50% av konteinerne ble identifisert. En konsekvens av trianguleringen av hvert spor er muligheten for duplikate modeller, hvor èn slik modell ble triangulert for hver værtilstand. Videre arbeid burde forbedre det underliggende datasettet og de foreslåtte ressurs-sporing metrikkene, i tillegg til komponentene av det foreslåtte systemet. Disse initiale resultatene vil forhåpentligvis rydde banen for forbedrede- og nye visuelle sporingssystem av ressurser.
dc.description.abstractThe motivation behind this work is to propose a novel visual asset tracking pipeline with the objective of localizing, identifying, and counting the number of containers in an outdoor industrial environment. This is achieved by using the four-legged robot Spot, capturing 360-images during inspections which are processed in the pipeline utilizing methods from the field of computer vision. Traditional asset tracking solutions rely on using RFID, GPS, and BLE technology, which are recognized as expensive to scale and unfeasible for certain assets. This work aims at extending the research on asset tracking by taking a visual approach to the problem. A custom data set consisting of both images and videos of containers at industrial sites in different weather conditions was created to develop and evaluate the pipeline. The proposed method first undistorts and detects containers in images utilizing a trained EfficientDet detector. Tracks are then generated using the prominent tracking-by-detection method SORT, which results in containers being mostly- or partially tracked. The tracks are triangulated to yield container point clouds that are fit to spherical container models using RANSAC, where a greedy merging scheme is proposed to merge overlapping models. The resulting pipeline localized 80% of the containers in sunny and overcast weather, where 75% are localized correctly to ground truths. The identification is achieved by the detection of fiducial markers, where 50% of the containers were identified. A consequence of triangulating each container track is the possibility of duplicate models, where one such model was triangulated for both weather conditions. Future work should improve the underlying data set and the proposed asset tracking metrics, in addition to components of the proposed pipeline. Hopefully, these initial results will pave the way for improved- and new visual asset tracking solutions.
dc.languageeng
dc.publisherNTNU
dc.titleSpot, a mobile four-legged visual asset tracking robot
dc.typeMaster thesis


Tilhørende fil(er)

Thumbnail

Denne innførselen finnes i følgende samling(er)

Vis enkel innførsel