Real-time Sheep Detection - Improving Retrieval of Free-ranging Sheep Using Deep Learning-based Detection on Drone Imagery Running on Mobile Devices

Abstract

På landsbasis slippes over 2 million sau på sommerbeite hvert år. Beiteområdene er ofte store, i ulendt terreng og et stykke unna selve gården. Disse faktorene gjør det vanskelig og tidkrevene for bonden å drive sauene hjem når høsten kommer. Denne masteroppgaven har som mål å utvikle og foreslå et system som kan bistå i dette arbeidet ved å automatisk detektere sau i dronebilder. For å oppnå dette ble flere dyp læringsmodeller basert på YOLOv5-arkitekturen utviklet og evaluert. Modellene tok utgangspunkt i forhåndstrente modeller av forskjellig størrelse. De ble så trent videre på bilder av varierende type og oppløsning. Evaluering av modellene ble gjort basert på evnen deres til å detektere sau i sanntid mens de kjører på mobile enheter. Tidligere arbeid har vist at en sammenslåing av to separate modeller basert på bilder fra det synlige og termiske spektrumet fører til bedre resultater. Et viktig aspekt ved denne oppgaven var derfor å undersøke om bilder tatt med MSX-teknologi gir lignende resultater. Ytelsen til de MSX-baserte modellene viste seg å være mindre gode – i hovedsak grunnet manglende kvalitet på selve bildene. Resultatene fra modellene trent på ordinære visuelle bilder i høy oppløsning var gode: Den beste modellen gjenfinner hele 98% av sauene med en inferenstid på 851ms per bilde på mobil maskinvare. Disse resultatene viser at dype læringsmodeller er i stand til å detektere sau i dronebilder både hurtig og pålitelig. Med videre utvikling kan denne teknologien brukes til å effektivisere arbeidet med sauegjenfinning.

In Norway, more than 2 million sheep are grazing freely during the summer. The pastures in which they graze are often large, covered in vegetation or rough terrain, and lay some distance from the sheep’s home farm. All of these factors make retrieval of the herd a difficult and time consuming task for the farmer. This thesis aims at developing and proposing a system to assist in this retrieval by automatically detecting sheep in images captured by drones. To this end, several deep learning models based on the YOLOv5 architecture were developed and evaluated. Models were developed using differently sized pre-trained checkpoints and further trained on images of different image types and resolution. The models are evaluated on their ability to detect sheep in real-time while running on mobile devices. Earlier work has shown that a fusion of models using images from the visual and thermal spectrums leads to improved results. An important aspect of this thesis was investigating whether use of images captured with MSX-technology would yield similar results. Performance of MSX-based models turned out to be lacking, mostly due to lack of quality in the images themselves. Models trained on regular high resolution images performed well, with a top retrieval rate of 98% running on mobile hardware with an inference time of 851ms per image. These results show that deep learning models are able to quickly and reliably detect sheep in drone images running on mobile hardware. This suggests that, with further development, such technology can be used to greatly effectivize sheep retrieval.