Objective Analysis of Melanin Spots as Welfare Signals in Atlantic Salmon Using AI-Based Computer Vision

Abstract

Eksportraten av oppdrettslaks har økt raskt, og fisken har blitt en viktig del av den globale matkjeden. Dette har ført til høyere produksjonsrater, der merder nå kan huse opptil 200 000 individer. Imidlertid har denne veksten også medført negative konsekvenser for laksens velferd. Derfor er det et sterkt behov for økt forståelse av hvordan interne tilstander hos laks, som er relevante for produksjon og velferd, blir eksternt signalisert. I denne oppgaven blir et bestemt ytre trekk hos laks, melaninflekker, automatisk detektert og analysert før og etter at fisk ble eksponert for stress.

To utviklede algoritmer som utnytter teknikker fra datasyn gjør automatisk bildebasert deteksjon og analyse av laksens melaninflekker mulig. Moderne metoder for dyp læring løser objektgjenkjenning og segmentering som benyttes for å ekstraktere melaninflekkene, mens tradisjonelle teknikker muliggjør etterfølgende analyse av laksens kroppsflekker og mulig bleking av flekker i hoderegionen.

Etter implementasjon og verifisering av de to algoritmene ble de anvendt på et utvalg av bilder tatt i forbindelse med et fiskeforsøk. Dette gav noe innsikt i hvordan melaninflekker endres når laks eksponeres for stress. En statistisk signifikant forskjell ble observert i kroppsflekkenes estimerte overflateareal før og etter stress, men dette skyldtes sannsynligvis unøyaktig segmentering. Imidlertid ble målinger av hodeflekkens overflateareal og hodeflekkenes gjennomsnittlige hvithet også evaluert til å være signifikant ulike før og etter stresseksponering, men her med en mer nøyaktig segmenteringsmodell. Hodeflekkenes areal ble i tillegg estimert som statistisk lik forhåndmålt, sann data.

Denne avhandlingen baner vei for automatisert velferdsevaluering av laks gjennom inspeksjon av melaninflekker, og er trolig den første evalueringsmetoden av sitt slag som utnytter dyp læring. Mer arbeid gjenstår før endring i flekkene kan brukes til å evaluere laksevelferd med sikkerhet, men utarbeidelsen av denne rapporten danner et viktig grunnlag for videre forskning. Vitenskapelige bidrag inkluderer konstruksjon av bildesett med annoterte melaninflekker, hvor det tidligere var et manglende datagrunnlag, samt implementeringen av et rammeverk i stand til å segmentere melaninflekker og måle ulike attributter gjennom bildebasert analyse. Nøyaktig, oppskalert analyse av flekkeegenskaper ved bruk av dyp læring metoder virker gjennomførbart med videre modelloptimalisering. I tillegg kan videre arbeid innebære å finne nye målbare flekkeattributter som kan knyttes til laksevelferd, og undersøke sammenhengen mellom disse attributtene og de som ble målt i forbindelse med utarbeidelsen av denne oppgaven.

Nøkkelord: bildesegmentering, datasyn, maskinlæring, laksevelferd.

The export rates of farmed salmon have increased rapidly, becoming an integral part of the global food chain. This has driven higher production rates, with pens now accommodating up to 200 000 salmon. However, this growth has also brought negative consequences for salmon welfare and a better understanding of how internal salmon states, relevant to production and welfare, are externally signalled is much needed. In this thesis, one particular external trait of salmon, their melanin spots, are automatically detected and analysed before and after salmon stress exposure.

Two developed pipelines that exploit various techniques from the field of computer vision, make automated extraction and analysis of melanin spots in salmon imagery possible. Trained and evaluated state of the art deep learning methods solve object detection and instance segmentation which are used for the extraction part of the pipelines, while traditional techniques allow for subsequent analysis of salmon body spots and head-region spot fading.

Upon implementation and verification of the two pipelines, they were applied to a set of images from a fish experiment, providing some insight into how melanin spots may change when salmon are exposed to stressors. A statistical significant difference was seen in predicted body spot coverage before and after stress, but this was likely due to poor melanin spot segmentation. However, predicted measurements of head spot coverage and head spot whiteness were also found to be significantly different before and after salmon stress exposure, with a more accurate instance segmentation model. The head spot coverage estimations were furthermore found to be statistically indistinguishable from available ground truth data.

This thesis paves the way for automated welfare assessment in salmon through melanin spot inspection and is, to the author's knowledge, the first evaluation method of its kind that exploits deep learning. More work remains before the evolution of salmon spots can be used to assess salmon welfare with certainty, but this work aims to form an important foundation for further research. Contributions include the creation of previously missing data sets with labelled melanin spots, and the implementation of a computer vision framework capable of extracting melanin spots and measuring various spot attributes. Accurate, up-scaled analysis of spot attributes using deep learning methods seems feasible with further model optimisation. Additionally, future work can involve the identification of new, measurable spot attributes that can be linked to salmon welfare, as well as examining the relationships between these attributes and the ones measured during the preparation of this thesis.

Keywords: image segmentation, computer vision, machine learning, salmon welfare.