Fish-farm Integrated Sensor Cluster: Environmental and Biological Surveillance in Fish-farming Aquaculture with Emphasis on Sensor Fusion

Abstract

Norge står for den største andelen produksjon og eksport av Atlantisk laks (Salmo salar L.) globalt, men med en dødelighetsrate på 15.5 % i 2021 så har den norske lakseoppdrettsnæring en lang vei å gå for å bli optimal. Miljø-basert og biologisk overvåkning i laksemerder er utfordrende gitt av deres størrelse og kompleksiteten av miljøet i dem, og enkle undervannskamera er industri-standarden for overvåkning under daglige operasjoner. Subjektive vurderinger utført av lakseoppdretterne er dermed fortsatt standard prosedyre for å bedømme fiskens generelle helse og velferd. Det finnes mange teknologiske løsninger på markedet som skal gi oppdretterne mere kontroll under daglige operasjoner. Flertallet av disse systemene er rettet mot å enten overvåke miljø-parameter eller innhente data på fisken. Produkter for det sistnevnte er ofte basert på avanserte 3D kamera-system og maskinlæring for å detektere lakselus, sår og estimere biomasse. Slike system er dermed relativt dyre.

Et eget-utviklet multisensorsystem blir i denne rapporten utnyttet til å utforske fusjon av optisk og akustisk data for å estimere størrelse og svømmehastighet på individuelle atlantisk laks. Så vidt forfatteren vet er det ingen andre produkter på markedet som utnytter en lignende sensorfusjon i et slikt bruksområde. Systemet inneholder også en sensor for å måle absolutt orientering og en sensor som måler to livsviktige miljø-parameter for atlantisk laks (vannets oksygeninnhold og temperatur). De anvendte teoretiske aspektene innenfor de respektive vitenskapsfeltene er presentert for å legge fundamentet for hvordan data-behandlingen er utviklet. Her blir det vektlagt hvorfor de spesifikke implementasjonene ble utnyttet. Prototypen i seg selv ble designet og konstruert i spesialiseringsprosjektet gjennomført før master-prosjektet, men er presentert som tidligere arbeid for å gi en bedre forståelse for hvordan systemet fungerer.

Den utviklede programvaren blir benyttet på data innhentet under to fullskala-tester. En dyp lærings-basert datasynsmodell trent på egen-generert data blir brukt for å detektere (YOLOv4) og tracke (DeepSORT) individuelle atlantisk laks, som gjør utnyttbar fusjon med akustisk data mulig. Oksygen-/ og temperatur-data blir fusjonert gjennom enkle matematiske funksjoner basert på optimale terskler for atlantisk laks for å få en objektiv numerisk kvalitet på det akvatiske miljøet. Data fra orienterings-sensoren blir brukt for å finne hvilken kompass-retning systemet heller imot for å estimere vannstrømsretning.

Estimatene på vannstrømsretning blir dømt inkonklusive på grunn av varierende og/eller feilaktig retning, mest sannsynlig forårsaket av den spesifikke plasseringen av systemet under testene. Under begge fullskala-testene er den resulterende kvaliteten på det akvatiske miljøet dårlig når strenge krav for optimalt miljø er utnyttet. Den optiske og akustiske sensorfusjonen viser lovende og realistiske resultat, men vil til syvende og sist kreve videreutvikling for å bli en egnet løsning i et sluttprodukt.

Norway is the largest producer and exporter of farmed Atlantic salmon (Salmo salar L.) globally, but with a mortality rate of 15.5 % in 2021, the Norwegian Atlantic salmon fish-farming industry has a far way to go to be considered optimal. Environmental and biological surveillance in fish pens is challenging due to their size and the complexity of the underwater environment within them, and simple subsea cameras are still the standard surveillance method during daily operations. Hence, subjective assessments done by the fish farmers are still industry standard when evaluating the health and welfare of the fish. Many products to gain more control of fish farming daily operations exist on the market. Most of these products are either directed toward environmental monitoring or acquiring data on the fish. The latter type of product typically relies on advanced 3D camera systems and machine learning to detect salmon louse, wounds, and estimate biomass. Accordingly, these systems are relatively expensive.

In this thesis, a specially developed multi-sensor prototype is used to investigate an optical and acoustic sensor fusion approach to estimate the size and swimming speed of individual Atlantic salmon. To the author's knowledge, no other products on the market utilize optical and acoustic sensor fusion for a similar application. The prototype also includes an orientation sensor and an aquatic environment sensor measuring two vital aquatic parameters for Atlantic salmon (water Oxygen (O2) content and temperature). The applied theoretical fundamentals within each field of science are presented to lay the basis for how the post-processing software was developed, emphasizing why specific approaches were used. The prototype system hardware was designed and constructed in the specialization project preceding the master's project but is presented as previous work to enable a better understanding of the system's functionality.

The developed software for the project is applied to data gathered during two full-scale field tests. A Deep learning-based Computer Vision model trained on custom data is used to optically detect (YOLOv4) and track (DeepSORT) fish, enabling fusion with hydroacoustic data. The O2 and water temperature data are fused through simple mathematical functions based on optimal thresholds for Atlantic salmon to determine an objective aquatic environment quality score. Orientation data is used to determine which compass heading the system is inclined towards to estimate water current direction.

The water current direction estimates are deemed inconclusive due to erratic and/or erroneous headings, most likely caused by the specific placement of the system during data acquisition. During both field tests, the fused aquatic environment quality scores are poor when using strict requirements based on optimal thresholds. The optical and acoustic sensor fusion approach showed promising and realistic results but ultimately requires further development to become a viable solution for a future product on the market.