Real-time Sheep Detection - Improving Retrieval of Free-ranging Sheep Using Deep Learning-based Detection on Drone Imagery Running on Mobile Devices
Master thesis
Permanent lenke
https://hdl.handle.net/11250/2834578Utgivelsesdato
2021Metadata
Vis full innførselSamlinger
Sammendrag
På landsbasis slippes over 2 million sau på sommerbeite hvert år. Beiteområdene er ofte store, iulendt terreng og et stykke unna selve gården. Disse faktorene gjør det vanskelig og tidkrevene forbonden å drive sauene hjem når høsten kommer. Denne masteroppgaven har som mål å utvikle ogforeslå et system som kan bistå i dette arbeidet ved å automatisk detektere sau i dronebilder.For å oppnå dette ble flere dyp læringsmodeller basert på YOLOv5-arkitekturen utviklet og evaluert. Modellene tok utgangspunkt i forhåndstrente modeller av forskjellig størrelse. De ble såtrent videre på bilder av varierende type og oppløsning. Evaluering av modellene ble gjort basertpå evnen deres til å detektere sau i sanntid mens de kjører på mobile enheter. Tidligere arbeidhar vist at en sammenslåing av to separate modeller basert på bilder fra det synlige og termiskespektrumet fører til bedre resultater. Et viktig aspekt ved denne oppgaven var derfor å undersøkeom bilder tatt med MSX-teknologi gir lignende resultater.Ytelsen til de MSX-baserte modellene viste seg å være mindre gode – i hovedsak grunnet manglendekvalitet på selve bildene. Resultatene fra modellene trent på ordinære visuelle bilder i høy oppløsning var gode: Den beste modellen gjenfinner hele 98% av sauene med en inferenstid på 851ms perbilde på mobil maskinvare.Disse resultatene viser at dype læringsmodeller er i stand til å detektere sau i dronebilder bådehurtig og pålitelig. Med videre utvikling kan denne teknologien brukes til å effektivisere arbeidetmed sauegjenfinning. In Norway, more than 2 million sheep are grazing freely during the summer. The pastures in whichthey graze are often large, covered in vegetation or rough terrain, and lay some distance from thesheep’s home farm. All of these factors make retrieval of the herd a difficult and time consumingtask for the farmer. This thesis aims at developing and proposing a system to assist in this retrievalby automatically detecting sheep in images captured by drones.To this end, several deep learning models based on the YOLOv5 architecture were developedand evaluated. Models were developed using differently sized pre-trained checkpoints and furthertrained on images of different image types and resolution. The models are evaluated on theirability to detect sheep in real-time while running on mobile devices. Earlier work has shownthat a fusion of models using images from the visual and thermal spectrums leads to improvedresults. An important aspect of this thesis was investigating whether use of images captured withMSX-technology would yield similar results.Performance of MSX-based models turned out to be lacking, mostly due to lack of quality in theimages themselves. Models trained on regular high resolution images performed well, with a topretrieval rate of 98% running on mobile hardware with an inference time of 851ms per image.These results show that deep learning models are able to quickly and reliably detect sheep indrone images running on mobile hardware. This suggests that, with further development, suchtechnology can be used to greatly effectivize sheep retrieval.