Fish Detection in Underwater Video

Abstract

Studier av dyreliv krever innsamling og analyse av store mengder data, som kan være en tidkrevende og arbeidskrevende oppgave. Det norske instituttet for naturforskning (NINA) har gjennomført omfattende forskning på akvatiske dyr ved hjelp av tradisjonelle metoder, som manuell observasjon og datautvinning fra undervannsopptak. Denne prosessen er både kjedelig og ineffektiv, noe som har ført til at NINA har utforsket muligheten for å bruke kunstig intelligens (AI) til å lage et automatisk deteksjons- og klippeverktøy for undervannsvideoer. Dette verktøyet vil hjelpe forskerne ved å eliminere behovet for manuell sortering av irrelevante videosegmenter og dermed effektivisere forskningsprosessen.

For å oppnå dette gjennomfører prosjektet en grundig undersøkelse av ulike tilnærminger for å utvikle en fullt fungerende løsning for NINA. Den foreslåtte løsningen benytter en objektdeteksjonsmodul basert på dyplæring kjent som "You Only Look Once" (YOLO) for å oppdage akvatisk liv i undervannsmiljøer. Modulen er trent på et datasett av relevante arter for å sikre nøyaktighet og pålitelighet av resultatene. De bearbeidede dataene lagres deretter i en SQLite-database, og brukeren kan velge plasseringen av videoopptakene via et brukergrensesnitt (UI).

UI gir brukeren en rekke alternativer for å justere innstillingene til modellen, opptakene og rapporten. Den foreslåtte løsningen tilbyr et omfattende verktøy for bruk i NINAs forskning på akvatiske dyr. Bruken av AI-basert teknologi har potensial til å betydelig forbedre effektiviteten og nøyaktigheten av datainnsamling og analyse, og åpne for nye innsikter i atferden og økologien til akvatiske arter.

Studying wildlife entails the collection and analysis of a vast amount of data, which can be a time-consuming and laborious task. The Norwegian Institute of Nature Research (NINA) has conducted extensive research on aquatic animals using traditional methods, such as manual observation and data extraction from underwater footage. However, this process is both tedious and inefficient, prompting NINA to explore the possibility of using Artificial Intelligence (AI) to create an automatic detection and clipping tool for underwater videos. This tool would aid researchers by eliminating the need for manual sorting of irrelevant video segments, thereby streamlining the research process.

To this end, the present project undertakes an in-depth examination of various approaches to developing a fully-functional solution for NINA. The proposed solution leverages a deep learning-based object detection model known as You Only Look Once (YOLO) to detect aquatic life in underwater environments. The module is trained on a dataset of relevant species to ensure the accuracy and reliability of the results. The processed data is then stored in a SQLite database, and the user can select the location of the video clips via a User Interface (UI).

The UI provides the user with a range of options to adjust the settings of the model, clips, and report. The proposed solution offers a comprehensive tool for use in NINA's continued research on aquatic animals. The use of AI-based technology has the potential to significantly improve the efficiency and accuracy of data collection and analysis, paving the way for new insights into the behavior and ecology of aquatic species.