Hydrogen Sulfide Detection through Salmon Juvenile Monitoring with Stereo Vision and Machine Learning

Abstract

Bakgrunn: Utvidelsen av landbaserte produksjonsfaser i lakseoppdrett er en voksende trend innen akvakulturindustrien. Reduksjon av tid tilbrakt på sjøen kan gi mange fordeler, men utviklingen av landbaserte fasiliteter bringer også med seg egne utfordringer, eksempelvis umodenhet av teknologien som blir brukt. En av de største utfordringene forbundet med landbasert oppdrett er dårlig vannkvalitet som påvirker fiskevelferden negativt. For øyeblikket mangler industrien autonome løsninger for å overvåke fiskeatferd. Denne masteroppgaven utforsker bruken av stereosyn og maskinlæring for å oppdage endringer i vannkvalitet, spesielt rettet mot hydrogensulfid, ved å overvåke atferd til laksesmolt. SINTEF Ocean bidro med prosjektet i forbindelse med forskningsprosjektet DigiRAS.

Metode: En Stereo R-CNN objektdeteksjonsmodell ble trent ved bruk av et datasett bestående av stereobildepar som viser laksesmolt. Kamerakalibreringsresultater ble brukt for å gjenopprette 3D-informasjon om fisken som ble detektert i stereobildene. Stereo R-CNN-modellen og resultater fra kamerakalibreringen ble brukt i objektsporing til å generere posisjonsdata for laksesmolt. Videoene som ble brukt inneholdt forskjellige scenarier av fiskeatferd: før, under og etter å ha blitt eksponert for forskjellige doser av hydrogensulfid konsentrasjoner. Resultatene antydet at hastighet og hastighetsendring var de mest karakteristiske indikatorene på ulike svømmemønstre. Flere forskjellige datasett ble laget basert på fordelinger av posisjonsdata. Forskjellige teknikker ble vurdert for å undersøke muligheten for hydrogensulfid deteksjon. Flere maskinlæringsmodeller ble testet for å vurdere om hydrogensulfid konsentrasjoner kunne bli klassifisert og estimert basert på datasettene.

Resultater: De oppnådde resultatene antydet at 3D-estimater av posisjonsdata kunne brukes for videre analyse. Klassifiseringsmodellene som ble testet oppnådde en nøyaktighet på 56\%, som ikke anses å være særlig bra. Til tross for dette ga regresjonsmodellene tilfredsstillende resultater, noe som indikerer at en regresjonsmodell kan være en rimelig tilnærming for oppdagelse av hydrogensulfid. For å vurdere troverdigheten må mer posisjonsdata genereres.

Background: Expanding land-based production phases in salmon farming is an emerging trend within the aquaculture industry. While reducing time spent at sea can yield many benefits, the development of land-based facilities faces challenges, such as the immaturity of the utilized technology. Currently, the industry lacks autonomous solutions for monitoring fish behavior. One significant challenge of land-based farming is poor water quality, adversely impacting fish welfare. This Master's Thesis explores the integration of stereo vision and machine learning to detect water quality changes, specifically the formation of hydrogen sulfide, by monitoring salmon juvenile behavior. SINTEF Ocean provided the project in contribution to the research project DigiRAS.

Method: A Stereo R-CNN object detection model was trained using a dataset of stereo image pairs featuring salmon juveniles. Camera calibration results were retrieved to recover 3D information about the detected fish in stereo images. The Stereo R-CNN model and camera calibration outcomes were employed in object tracking to extract positional data of salmon juveniles from videos. The videos used contained various scenarios of fish behavior: before, during, and after being exposed to different concentrations of hydrogen sulfide. The acquired results suggested that velocity and speed change rate were the most characteristic indicators of various swimming patterns. Several datasets were developed based on positional data distributions. An assessment of different techniques for examining the detection of hydrogen sulfide was performed. For testing, several machine learning models were utilized to classify and estimate hydrogen sulfide concentrations to investigate if water quality changes could be detected from the datasets.

Results: The obtained results implied that 3D estimations of positional data could be employed for further analysis. The classification models demonstrated limited success, with a peak accuracy of 56\%. Conversely, the regression models provided satisfactory results, signifying that a regression model might be viable for hydrogen sulfide detection. More positional data must be generated in order to assess its credibility.