A New Stereo Vision Method for Tail Beat Analysis in Farmed Atlantic Salmon

Abstract

Hvert år dør en betydelig andel av laksen i oppdrettsanlegg. For å forbedre fiskevelferden er det behov for mer kunnskap om stressfaktorer og fiskens respons på disse. Dagens metoder for å samle inn denne informasjonen innebærer ofte bruk av fiskemerker, små sensorpakker som festes på eller implanteres i fisken. Selv om disse merkene gir data om fiskens aktivitet, er bruken av dem inngripende og ofte upraktisk. Denne avhandlingen presenterer en ny, ikke-inngripende metode for å overvåke lakseaktivitet ved hjelp av et stereokamerasystem.

Den foreslåtte metoden benytter en maskinlæringsmodell for å detektere fiskehaler i stereobilder, etterfulgt av en annen maskinlæringsmodell for å detektere tre spesifikke punkter på halene. Deretter spores halene over flere etterfølgende bilder i en video. Stereosyn gjør det mulig å rekonstruere motivet i 3D ut fra de parvise bildene, noe som muliggjør tredimensjonal sporing av punktene på halen. Ved å analysere fiskens bevegelser i videoene estimerer metoden haleslagfrekvenser og -amplituder. Disse størrelsene kombineres deretter for å estimere fiskens fremdrift, som fungerer som en erstatning for den generelle dynamiske kroppsaktiviteten.

I løpet av arbeidet med denne avhandlingen ble det laget flere datasett for trening, validering og testing av maskinlæringsmodellene som brukes i den foreslåtte metoden. To datasett med stereobilder som viste varierende mengder laks i karet ble annotert, ett med avgrensningsbokser som dekket hele laksen, og ett med avgrensningsbokser som bare dekket halene. I tillegg ble ytterligere to datasett avledet fra disse, med tre punkter annotert på halene i bilder som viste henholdsvis hele fisken eller bare halene.

Ved hjelp av den nye metoden som er utviklet i denne avhandlingen, ble aktiviteten til laksen i et kar estimert og sammenlignet med aktiviteten beregnet fra merkedata som ble registrert samtidig. Sammenligningen viste potensialet i den nye metoden. I diskusjonen beskrives mulige løsninger for å håndtere begrensninger og forbedre nøyaktigheten og påliteligheten til den foreslåtte metoden, slik at den i fremtiden kan erstatte dagens merkemetoder for overvåking av aktiviteten til oppdrettslaks.

Every year, a significant portion of salmon die in fish farms. To improve fish welfare, more knowledge is needed about stress factors, and the fish' responses to them. Current methods for collecting this information often involve the use of fish tags, small sensor packages that are attached to or implanted in the fish. While these tags provide data on fish activity, their use is invasive and often impractical. This thesis presents a new, non-invasive method for monitoring salmon activity using a stereo camera system.

The proposed method employs a machine learning model to detect fishtails in stereo images, followed by another model to identify three keypoints on the detected tails. The tails are then tracked across multiple frames in a video. Stereo vision enables the 3D reconstruction of the scene from the paired images, allowing for three-dimensional tracking of the tail keypoints. By analysing the trajectories of the fish in the videos, the method estimates tail beat frequencies and amplitudes. These metrics are then combined to estimate the thrust generated by the fish, which serves as a replacement for overall dynamic body activity.

During the work with this thesis, multiple datasets were created for the training, validation, and testing of the machine learning models used in the proposed method. Two datasets containing stereo images showing varying amounts of salmon in the tank were annotated, one with bounding boxes covering the whole salmon, and one with bounding boxes covering only the tails. Additionally, two more datasets were derived from these, with three keypoints annotated on the tails in images showing either the whole fish or just the tails, respectively.

Using the new method developed in this thesis, the activity of salmon in a tank was estimated and compared to the activity calculated from tag data recorded simultaneously. The comparison demonstrated the potential of the new method. The discussion outlines potential solutions to address limitations and enhance the accuracy and reliability of the proposed method, so that it might in the future replace the current tag-based methods for monitoring activity of farmed Atlantic salmon.