Assessing Re-Identification Capabilities of Salmon Body Parts Using AI-Based Computer Vision Methods

Abstract

Den teknologiske utviklingen i oppdrettsnæringen har skutt fart, og det er nå mulig å bruke teknologi for å analysere velferden til laks. Man kan hente ut mye informasjon gjennom bilde og video data gjennom maskinlæringsmetoder som utnytter dyplæringsprinsippet. For å kunne automatisere velferdsestimeringen av laks i oppdrettsnæringen, må man kunne identifisere laksen for å gi hvert enkelt individ et veldferdsestimat. I denne masteroppgaven er det laget en programvare som bruker dyp læring for å identifiserer laks basert på bilder av kroppsdeler. Programvaren er brukt til å finne ut hvilke kroppsdeler som er mest informative og best egnet til re-identifisering. Arbeidet er gjort med videoer av laks i tanker, som er levert av Sintef Ocean. For å trene modellene som inngår i programvaren, er tre datasett laget. I programvaren inngår modeller for deteksjon av laks, deteksjons av kroppsdeler og individuell re-identifisering. Evalueringen av programvaren viser at re-identifiseringsnøyaktigheten for bilder av hver kroppsdel er som følger: Bryst (87.7\%), ryggfinne (86.3\%), øyne (50.0\%), brystfinne (43.1\%), og halefinne (49.3\%).

Technological advancements in the aquaculture industry have accelerated, and it is now possible to use technology to analyze salmon's welfare. A wealth of information can be extracted from image and video data through machine learning methods that utilize deep learning principles. To automate the welfare estimation of individual salmon in the aquaculture industry, it is necessary to identify each salmon. In this Master´s thesis, a salmon re-identification pipeline is developed. The pipeline is used to analyze the body parts of the salmon to find which are the most informative. The Deep learning models within the re-identification pipeline are trained using three datasets that are constructed during the project. Video recordings of salmon are provided by Sintef Ocean. The re-identification pipeline contains modules for salmon detection, body part detection, and individual re-identification. By evaluating the pipeline, the re-identification accuracy using images of each body part is as follows: Thorax (87.7\%), dorsal fin (86.3\%), eye (50.0\%), pectoral fin (43.1\%), and caudal fin (49.3\%).