Artsgjenkjenning av fisk

Abstract

Norsk institutt for naturforskning (NINA) ønsket en løsning som kunne automatisk gjenkjenne arter i undervannsvideo og gi de grunnleggende statistikk om aktiviten i videoene. Dette prosjektet undersøker muligheter for å løse problemet og implementerer en løsning. Et dataset ble annotert med artene NINA var interessert i forbruk i utvikling og test av deteksjon- og sporingalgoritmer. Løsningen implementerer en objektdeteksjon modul hvor dyplæring brukes for å detektere objekter ved bruk av et nettverk basert på You Only Look Once (YOLO)-nettverksarkitektur. Deteksjonene brukes i en sporing modul hvor Simple Online and Realtime Tracking (SORT) er brukt for å assosiere deteksjoner over tid for å generere individuelle objekt observert i videoen. Organisering av objektdeteksjon og sporing er implementert i en kjernemodul som organiserer prosessering og lagrer resultat til en database. Et webbasert brukergrensesnitt kommuniserer med kjernemodulen som lar bruker administrere, se og laste ned resultat av prosesserte videoer. Den totale løsningen gir NINA et fungerende verktøy for bruk i sin forskning.

Norwegian Institute of Nature Research (NINA) inquired about a tool to automatically detect underwater species in videos, and calculate basic statistics of their activity. Something that would assist them in their research. This project investigates possibilities and implements a solution. A dataset of the relevant species is made for use in the development and testing of object tracking and detection algorithms. The solution implements an object detection module where deep learning is used to detect an object by using a You Only Look Once(YOLO) based network architecture. The detections are used in a tracking module where Simple Online and Realtime Tracking(SORT) is used to associate detections over time to generate individual objects observed in the video. In order to organize the object detection and tracking were a core module implemented. This module processes and then stores the results in a database. A web-based user interface communicates to the core module to administer, view, and download results. The proposed solution gives NINA a working tool for use in their research.