| dc.description.abstract | Bruken av landbaserte oppdrettsanlegg er økende i akvakulturnæringen. Foreløpig er det mangel på autonome løsninger for atferdsovervåkning av fisk i landbaserte anlegg. Dette er ettertraktet for å kunne avdekke dårlig vannkvalitet, som igjen vil redusere fiskevelferden. Denne rapporten studerer kombinasjonen av stereosyn og maskinlæring som en metode for å overvåke atferden til lakseyngel i landbaserte oppdrettsanlegg. Oppgaven er gitt av SINTEF Ocean i forbindelse med forskningsprosjektet DigiRAS. Ett av hovedmålene i denne oppgaven var å detektere og estimere 3D-posisjonering av lakseyngel i bilder tatt med et stereokamera. Videre var det av interesse å spore laks i bildeserier med mål om å avdekke karakeristikk på adferd.
I løpet av dette prosjektet har det blitt utviklet et datasett som inneholder stereobilder av lakseyngel. Dette datasettet har blitt brukt til å trene objektdeteksjons-modellen Stereo R-CNN for å detektere og assosiere individuelle laks i stereobilder. Stereokamera-kalibrering har blitt gjennomført med mål om å estimere 3D-informasjon fra detekterte fisk. Videre har algoritmen SORT (Simple Online and Realtime Tracking), i kombinasjon med et Kalman-filter, blitt implementert for å spore lakseyngel i videosekvenser.
Basert på resultatene fra prosjektet kan man bekrefte at Stereo R-CNN har god ytelse for å detektere individuelle laks i stereobilder. Metoden for å estimere 3D-posisjonering viser lovende resultater, med potensial for forbedringer. SORT-algoritmen viser vellykede resultater hvor den sporer fisk i bildeserier. I kombinasjon med det ekstra Kalman-filteret er man i stand til å estimere atferdsegenskaper til laksen, som inkluder fart of akselerasjon i 3D-rommet. Fremtidig arbeid innebærer å forbedre estimeringen av 3D-posisjonering ved å bruke nye bilder for kalibrering av stereokameraet. I tillegg er det av interesse å foreta ytterligere tester på metoden for estimering av fart og akselerasjon for å kunne gjøre en vurdering av metodens troverdighet. Avslutningsvis er det også av interesse å teste den implementerte metoden på videodata der lakseyngel utsettes for stress. Da kan man analysere bevegelsesmønster for ulike scenarioer, og ut fra dette ta en endelig konklusjon på om metoden er godt egnet for overvåkning av atferd til lakseyngel. | |
| dc.description.abstract | The use of land-based fish farms is increasing in the aquaculture industry. Currently, there is a lack of autonomous solutions for behavioural monitoring of fish in land-based facilities. This is sought after due to the risk of poor water quality that can occur, which thereby reduces the fish welfare. This thesis investigates the combination of stereo vision and machine learning as an approach to monitoring the behaviour of salmon juveniles in land-based fish farms. The thesis was provided by SINTEF Ocean in contribution to the research project DigiRAS. One of the main objectives in this thesis was to detect and estimate 3D positions of salmon juveniles in images captured by a stereo camera. Further, it was of interest to track salmon in a series of images with the aim of establishing behavioural characteristics.
During this project, a dataset containing stereo images of salmon juveniles was developed. This dataset has been utilized to train the object detection model Stereo R-CNN for detecting and associating individual salmon in stereo images. With the aim of recovering 3D information from the detected fish, stereo camera calibration have been performed. Further, the SORT (Simple Online and Realtime Tracking) algorithm, in addition to a Kalman filter, has been implemented to track salmon juveniles in video sequences.
Based on the obtained results, it is confirmed that Stereo R-CNN has great performance of detecting individual salmon in stereo images. The method for estimating 3D positions show promising results, with potential for improvements. The SORT algorithm successfully tracks salmon in series of images. In combination with the additional Kalman filter, one is able to estimate behavioural characteristics of the salmon, which includes velocity and acceleration in 3D space. Future work involves improving the 3D position estimation by utilizing new image data for calibrating the stereo camera. In addition, it is of interest to conduct further tests on the method for estimating velocity and acceleration, in order to make an assessment of its credibility. Lastly, it is of interest to test the approach on video data where salmon juveniles are exposed to stress. From this, one can analyze the patterns of different scenarios and make a final conclusion on whether the approach is well suited for monitoring the behaviour of salmon juveniles. | |