Leveraging Synthetic Data for Boosting Occluded Sheep Detection in UAV Images

Abstract

Hvert høst samler norske bønder inn omtrent 2 millioner sauer og lam fra beite. Å lokalisere og samle alle sauene kan være en tidkrevende og langtrukken prosess da noen av sauene kan ha vandret langt utenfor sitt opprinnelige beiteområde. Med teknologiske fremskritt har det dukket opp nye verktøy for å hjelpe med sauesanking, som bruken av droner for å finne sau. Tidligere studier har sett på å anvende maskinlæringsalgoritmer på bildene tatt av droner for detektere sau automatisk, og det har vist lovende resultater og muligheter. All sau er derimot ikke like enkel å oppdage. Å detektere sau som er gjemt under vegetasjon har vist seg å være spesielt utfordrende.

Målet med denne oppgaven er å øke nøyaktigheten av deteksjon av skjult sau ved å trene objektdetekteringsmodeller på syntetiske og ekte bildedata. En tilnærming til å generere syntetiske bilder av sauer delvis skjult av vegetasjon i Unity Perception blir utforsket. De genererte syntetiske bildene og ekte bildedata blir brukt til å trene en rekke YOLOv7-modeller. En referansemodell trent utelukkende på virkelige data, en modell trent på en kombinasjon av syntetisk og ekte data, og en finjustert modell blir undersøkt for å vurdere effekten på ytelsen ved deteksjon av sauer delvis skjult av vegetasjon. Hvordan trening på kombinasjonen av syntetisk og ekte data sammenlikner med en finjustert modell vil også bli utforsket.

Resultatene indikerer at syntetiske bilde-data kan forbedre ytelsen ved deteksjon av sauer delvis skjult av vegetasjon. Både modellen trent på kombinerte data og den finjustert modellen presterer bedre enn referansemodellen, hvor modellen trent på kombinerte data oppnådde den største forbedringen i ytelse.

Each fall, Norwegian farmers round up around 2 million sheep and lambs from grazing. Locating and gathering all the sheep can be time-consuming and tedious, considering some stray sheep may have wandered far beyond their designated grazing areas. With technological advancements, new tools have emerged to assist with sheep roundups, such as using unmanned aerial vehicles UAV to locate sheep. Previous research has examined applying machine learning algorithms to images captured by UAVs to detect sheep automatically, showing promising results and capabilities. However, not all sheep are detected as easily. Sheep which are partially occluded by vegetation has proved especially difficult to detect.

The aim of this thesis is to improve occluded sheep detection accuracy by training object detection models on synthetic and real image data. An approach to generating synthetic images of occluded sheep data in Unity Perception is explored. The generated synthetic data and real image data are used to train a range of YOLOv7 models. A baseline model trained on real data exclusively, a model trained on mixed data, and a fine-tuned model are examined to evaluate its impact on occluded sheep detection performance. The performance from mixed training and fine-tuning will also be compared.

The results indicate that synthetic image data can boost the performance of occluded sheep detection. Both the mixed and fine-tuned models trained with synthetic data performed better than the baseline model, with the mixed-trained model seeing the most significant boost in performance