Leveraging Synthetic Data for Boosting Occluded Sheep Detection in UAV Images
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3102005Utgivelsesdato
2023Metadata
Vis full innførselSamlinger
Sammendrag
Hvert høst samler norske bønder inn omtrent 2 millioner sauer og lam fra beite. Ålokalisere og samle alle sauene kan være en tidkrevende og langtrukken prosessda noen av sauene kan ha vandret langt utenfor sitt opprinnelige beiteområde.Med teknologiske fremskritt har det dukket opp nye verktøy for å hjelpe medsauesanking, som bruken av droner for å finne sau. Tidligere studier har sett påå anvende maskinlæringsalgoritmer på bildene tatt av droner for detektere sauautomatisk, og det har vist lovende resultater og muligheter. All sau er derimotikke like enkel å oppdage. Å detektere sau som er gjemt under vegetasjon har vistseg å være spesielt utfordrende.Målet med denne oppgaven er å øke nøyaktigheten av deteksjon av skjultsau ved å trene objektdetekteringsmodeller på syntetiske og ekte bilde-data. Entilnærming til å generere syntetiske bilder av sauer delvis skjult av vegetasjoni Unity Perception blir utforsket. De genererte syntetiske bildene og ekte bildedata blir brukt til å trene en rekke YOLOv7-modeller. En referansemodell trentutelukkende på virkelige data, en modell trent på en kombinasjon av syntetisk ogekte data, og en finjustert modell blir undersøkt for å vurdere effekten på ytelsenved deteksjon av sauer delvis skjult av vegetasjon. Hvordan trening på kombinasjonen av syntetisk og ekte data sammenlikner med en fin-justert modell vil ogsåbli utforsket.Resultatene indikerer at syntetiske bilde-data kan forbedre ytelsen ved detek-sjon av sauer delvis skjult av vegetasjon. Både modellen trent på kombinerte dataog den finjustert modellen presterer bedre enn referansemodellen, hvor modellentrent på kombinerte data oppnådde den største forbedringen i ytelse. Each fall, Norwegian farmers round up around 2 million sheep and lambs fromgrazing. Locating and gathering all the sheep can be time-consuming and tedious,considering some stray sheep may have wandered far beyond their designatedgrazing areas. With technological advancements, new tools have emerged to assist with sheep roundups, such as using unmanned aerial vehicles UAV to locatesheep. Previous research has examined applying machine learning algorithms toimages captured by UAVs to detect sheep automatically, showing promising results and capabilities. However, not all sheep are detected as easily. Sheep whichare partially occluded by vegetation has proved especially difficult to detect.The aim of this thesis is to improve occluded sheep detection accuracy bytraining object detection models on synthetic and real image data. An approachto generating synthetic images of occluded sheep data in Unity Perception is explored. The generated synthetic data and real image data are used to train a rangeof YOLOv7 models. A baseline model trained on real data exclusively, a modeltrained on mixed data, and a fine-tuned model are examined to evaluate its impacton occluded sheep detection performance. The performance from mixed trainingand fine-tuning will also be compared.The results indicate that synthetic image data can boost the performance ofoccluded sheep detection. Both the mixed and fine-tuned models trained withsynthetic data performed better than the baseline model, with the mixed-trainedmodel seeing the most significant boost in performance.