Using synthetic data to improve the detection of sheep in drone images

Abstract

Gjenfinning av sau på slutten av beitesesongen er ofte en veldig tidkrevende prosess. Etter flesteparten av sauene er returnert kan det ofte være noen få dyr igjen som ikke kom seg tilbake med resten. Lokalisering og gjenfinning av de siste dyrene innebærer ofte sporing og leting over lange distanser over en lang tidsperiode. Denne arbeidskrevende prosessen kan bli lettere ved å ta i bruk moderne teknologi. Droner har blitt mer populært de siste tiårene i ulike kommersielle sektorer som for eksempel i jordbrukssektoren. Tidligere forskning har vist at å benytte seg av maskinlæringsmetoder for å detektere sauer i dronebilder kan være en praktisk måte å lokalisere sauer på beite for gjenfinning.

Sauer finnes i ulike farger og kan ofte være delvis tildekket av vegetasjon som blader og gress når man tar bilder med drone. Denne oppgaven har som mål å finne ut av hvilke kategorier av sau som er vanskelig å detektere i dronebilder, i tillegg til å foreslå en metode for å generere syntetisk data for å forsøke å forbedre deteksjonen av de kategoriene som ble funnet å være de vanskeligste å detektere. For å generere den syntetiske dataen, ble Perception pakken for spillmotoren Unity brukt. Maskinlæringsmetoden som ble brukt til å detektere sauer var YOLOv5. To modeller ble trent; den såkalte baseline-modellen som kun ble trent på ekte dronebilder, og den såkalte mixed-modellen som brukte både ekte og syntetisk genererte data til trening.

Kategoriene av sau som ble funnet å være de vanskeligste å detektere var sauer av alle farger så lenge de var delvis tildekket av vegetasjon, men spesielt sauer av mørke farger som var delvis tildekket. Mixed-modellen oppnådde en 9.43% høyere fullstendighet (recall) enn baseline-modellen for tildekkede sauer generelt, og en 37.5% høyere fullstendighet (recall) enn baseline-modellen for mørke tildekkede sauer ved en konfidensterskel på 0.8.

Retrieving grazing sheep at the end of the season is typically a very time-consuming process. After the majority of the animals have been returned, there can often be a few animals left that did not make it back with the rest. Locating and retrieving the last few animals usually entails tracking long distances and searching for a long period of time. By properly utilizing modern technology, this labor-intensive process can be alleviated. Drones, or unmanned aerial vehicles (UAVs), have become increasingly popular in recent decades for different commercial sectors such as agriculture. Previous research has shown that using machine learning methods to detect sheep in drone images can be a viable method of locating grazing sheep for retrieval.

Sheep come in different colors and are often partially occluded by vegetation such as leaves and grass when being imaged by a drone. This thesis aims to discover which categories of sheep are difficult to detect in drone images, as well as propose a method of generating additional synthetic training data to attempt to improve the detection of the categories that were found to be the most difficult to detect. To generate the synthetic data, the Perception package for the game engine Unity was used. The machine learning method used for detecting sheep was YOLOv5. Two models were trained; a baseline model using only real data, and a mixed model using both real and synthetic data in the training set.

The categories of sheep that were found to be the most difficult to detect were all colors of sheep as long as they are partially occluded by vegetation and in particular occluded sheep of darker colors. The mixed model achieved a 9.43% higher recall over the baseline for occluded sheep in general, and a 37.5% higher recall over the baseline for dark occluded sheep at a confidence threshold of 0.8.