Drone-based Detection of Sheep using Thermal and Visual Cameras: A Complete Approach

Abstract

Det har vært en stor økning i bruken av dronebasert teknologi på verdensbasis. Bruken av disse verktøyene i mange profesjonelle områder har blitt mer og mer populær, inkludert innen jordbruket.

Sent på høsten må sauebønder samle inn alle dyrene fra beitet og inn på gården. Flesteparten av sauene kommer av seg selv, men en viss andel vil ofte forbli i beiteområdet. Arbeidet med å finne de siste sauene er ofte en vanskelig oppgave for sauebonden, ettersom de kan være spredt over et veldig stort område som er vanskelig å bevege seg gjennom og lete i. Hvis bonden kunne tatt i bruk et automatisk system for å finne de siste sauene kunne de spart veldig mye tid og arbeid.

Tidligere arbeid ved NTNU har hovedsakelig omfattet bruken av objektdeteksjon for å finne sau i visuelle bilder. Dette arbeidet var grunnlaget for én del av denne oppgaven, da funnene ble brukt som et startpunkt for det visuelle deteksjonssystemet. Hensikten med denne masteroppgaven er å jobbe videre med dette tidligere arbeidet, kombinere visuell deteksjon med deteksjon basert på termiske bilder, og å lage et komplett system basert på disse teknologiene.

Denne masteroppgaven undersøker hvordan tidligere arbeid kan kombineres for å lage et effektivt, fungerende system for å finne de siste sauene. Oppgaven sammenligner grundig forskjellige konfigurasjoner av deteksjonsmodeller og maskinvareløsninger, og evaluerer hvordan de kan brukes i virkelige problemstillinger.

Det ble konkludert at YOLOv3-tiny er et objektdeteksjonssystem som er veldig treffsikkert i deteksjon av sauer, og som er mye raskere enn andre testede konfigurasjoner. Det ble vist at dette er en optimal konfigurasjon for objektdeteksjon, med tanke på maskinvarebegrensninger som kan være problematiske for praktisk bruk av et slikt system. Denne metoden er rask nok for å kunne praktisk brukes lokalt på en bærbar PC.

Ved å dele bildedataen i mindre deler ble deteksjonstreffsikkerhet forbedret ved flyvning høyt over bakken, og visuell deteksjon fungerer bra opp til den lovlige maksimumshøyden for droneflyvninger. Termisk deteksjon var begrenset til en lavere høyde på grunn av oppløsningen på det termiske kameraet som var tilgjengelig. Et termisk kamera med høyere oppløsning ville ført til en stor økning i høyden der deteksjon kan gjennomføres, og derfor også gjøre at hvert bilde dekker et større område.

Ved å bruke kriteriet at man detekterer minst én sau i hver gruppe kan systemet finne hver gruppe i testdatasettet. Det er usikkert hvor bra det fungerer i virkelig bruk. Dette kriteriet tillater en høyere deteksjonsterskel, som reduserer antallet falske positiver. Hvis denne terskelen er for høy vil hele grupper med sauer ikke bli funnet, så det gjenstår å se hvor nyttig denne metoden faktisk er.

Det ble funnet at kombinasjonen av termiske og visuelle bilder kan øke deteksjonstreffsikkerheten, da den ene metoden ofte fungerer bedre der den andre har svakheter. Tekniske begrensninger betyr at en sann kombinasjon av bildetypene ikke var mulig, men en simpel kombinasjon av deteksjonsdata fra begge viste uansett en stor økning i treffsikkerhet.

There has been a considerable increase in the use of drone technology worldwide. The use of unmanned aerial vehicles in many different types of professional applications has become increasingly popular over the years, including in farming-related areas.

In late fall, a sheep farmer has to collect all their sheep from grazing and bring them into their barn. Most of the sheep come when called, but a small number will often remain in the grazing area. Finding the last few remaining sheep can be a challenging task for a sheep farmer. The sheep are usually spread over a vast area, which is often very difficult to traverse and search. If the farmer could employ an automated system for finding these last few sheep, they could save a huge amount of time and effort.

Previous work at NTNU has primarily concerned itself with the application of object detection to find sheep in visual images. This work formed the basis of a part of this thesis, as the findings were used as a starting point for the visual detection system. This thesis sets out to improve upon the previous work, combine visual detection with detection based on thermal images, and to create a complete system based on these technologies.

This thesis examines how previous work can be combined into an effective working system for finding the last sheep. It thoroughly compares different configurations of detection models and hardware solutions and evaluates how they could be used in a real-life solution.

It was found that YOLOv3-tiny is an object detection system which detects sheep very accurately, and it is also much faster than other tested configurations. This was determined to be an optimal configuration for object detection, considering hardware limitations that could be encountered in real-world usage of such a system. This method is fast enough to allow for practical use of the system ''in the field'' on a laptop computer.

By splitting the input images into smaller parts, detection accuracy was greatly improved at high altitudes, and visual detection works well up to the legal maximum altitude for drone flights. Thermal detection was limited to a lower altitude by the resolution of the thermal sensor which was available. A higher-resolution thermal image would significantly increase the flight altitude at which detection could be successful, and therefore also increase the area covered by each image.

By using the metric of detecting at least one sheep in every group, the system can locate every group in the test data set; however, the real-world accuracy remains unknown. This metric was found to allow for a higher detection threshold, which reduces the number of false positives. However, entire groups of sheep could be missed if the threshold is too high, so the real-world usefulness of this method remains uncertain.

It was found that the combination of thermal and visual images can enhance the accuracy of detection, as one method often works better in situations where the other has weaknesses. Technical limitations meant that a true composition of the image types was not possible, but a simple combination of detection data from both image types still showed a significant accuracy increase.