Detection of a person in the water from thermal images

Abstract

Hvert år dør rundt 100 mennesker av drukningsulykker i Norge. Fall fra land eller brygge er overrepresentert i denne statistikken, og ulykker skjer som oftest når ofrene er alene. Denne oppgaven har som mål å utvikle et system som bruker et termisk kamera, objektdeteksjon og objektsporer for å oppdage en person som faller i vannet for å redusere antall drukningsulykker. Systemet bruker flere metoder for å oppdage en person som faller. Systemet kan oppdage et objekt som faller som en fallende person, utføre en linjekryssingssjekk og se på relativ bevegelseshastighet for objekter. Datasettet som ble laget inneholder syv kategorier, person, bil, hund, båt, lastebil, fallende person, buss, og inkluderer 3249 merkede termiske bilder. En YOLOv4-tiny modell ble brukt som objektdeteksjonmodell og fikk en gjennomsnittlig presisjon på 87.23% på valideringssettet. Deep SORT ble brukt som objektsporingsalgoritmen og lagret objektets historie som datapunkter for baneanalyse. Deep SORT oppnådde imidlertid ikke en sanntidsytelse da den bare nådde ni bilder per sekund og har derfor et stort forbedringspotensial. Baneanalysen viser at det er lett å skille mellom relevante bevegelsesmønstre, som at en person går, faller eller klatrer. Det samlede resultatet er at et slikt system som er presentert i denne oppgaven kan redde liv i fremtiden, men det er fortsatt mange forbedringer for å gjøre systemet enda mer robust.

Each year in Norway, about 100 people die from drowning accidents. Falling from land or a dock is overrepresented in the statistics, and accidents often occur when the victims are alone. This thesis aims to develop a system that uses a thermal camera, object detection, and object tracking to detect a person falling into the water to decrease the number of drowning accidents. The system uses several methods for detecting a person falling, such as detecting an object as a falling person with object detection, a line crossing check, and the relative movement speed of objects. The dataset created includes seven labels, person, car, dog, boat, truck, falling person, bus, and contains 3249 labeled thermal images. A YOLOv4-tiny model was the object detection model and scored a mean average precision of 87.23% on the validation set. Deep SORT was used as the object tracker algorithm and saved the object's history as data points for trajectory analysis. However, the Deep SORT did not reach a real-time performance, running at only nine frames per second. This leaves much potential for improvement. The trajectory analysis shows that it is easy to distinguish between relevant movement patterns, such as a person walking, falling, or climbing. The overall result is that such a system presented in this thesis could save lives in the future, but there are still many improvements to make the system even more robust.