AI-driven Analysis: Image-based quantification of Scale Loss in Fish using Machine Learning and Computer Vision
Abstract
Å sikre fiskevelferd er avgjørende for bærekraftig lakseoppdrett, med skinnhelse som en viktig helseindikator. Til tross for strenge reguleringer, sliter laksenæringen fortsatt med høye dødsrater, noe som understreker behovet for innovative løsninger for å forbedre fiskevelferden og driftseffektiviteten.
Denne masteroppgaven har som mål å fremme anvendelsen av kunstig intelligens i akvakultur ved å utvikle et system for å detektere og kvantifisere skjelltap hos fisk. Systemet detekterer først fisken i et bilde ved hjelp av en YOLOv8 objektdeteksjonsmodell. Videre blir fiskens skinn og skjelltap detektert og segmentert ved hjelp av to YOLOv8 segmenteringsmodeller. Til slutt blir arealet av skjelltapet delt på arealet av skinnet, slik at skjelltap i forhold til skinn kan kvantifiseres med en prosentandelen. For å oppnå dette ble spesialiserte datasett laget, og de nødvendige maskinlæringsmodellene ble trent. ScaleGuard, en brukervennlig applikasjon ble så utviklet for å gjøre disse avanserte modellene og andre nyttige tilleggsfunksjoner tilgjengelige for ikke-tekniske brukere.
På testdatasettet oppnådde fiskedetektormodellen en mAP50-95 på 87.5% med 24.69 FPS på en NVIDIA 1660Ti GPU. Skinnsegmenterings modellen oppnådde en mAP50-95 på 98.0% med 24.15 FPS. Skjelltapssegmenteringsmodellen oppnådde en F1-score på 76.3% med 5.94 FPS, noe som resulterte i en estimert skjelltapsprosent med en MSE på 0.278 over 10 testbilder. Dette resulterte i et lavbudsjetts system i stand til å analysere skjelltap hos fire fisk i sekundet med høy nøyaktighet. I tillegg ble kvantifiserte grenser som kobler skjelltapsprosent til en LAKSVEL velferdsscore etablert, med en nøyaktighet på 85.7% over 140 testbilder. Mens modellene oppnådde høy nøyaktighet på testdataene, var disse bildene tatt fra et kontrollert oppsett over vann, noe som ga en spennende mulighet til å evaluere modellene på undervannsbilder. Denne evalueringen viste at modellene ikke umiddelbart var anvendelige på disse nye bildene. Imidlertid viste modellene en bemerkelsesverdig evne til å bli finjustert med så få som 18 bilder, til F1-score på 88.2%, 98.9% og 61.5% for henholdsvis fiskedeteksjon, skinnsegmentering og skjelltapssegmentering. Ensuring fish welfare is vital for sustainable salmon farming, with skin condition being a key health indicator. Despite stringent regulations, the salmon farming industry still struggles with high mortality rates, emphasizing the need for innovative solutions to improve fish welfare and operational efficiency.
This master's thesis aims to advance the application of artificial intelligence in aquaculture by developing a system for detecting and quantifying scale loss in fish. The system first detects the fish in an image using a YOLOv8 object detection model. Further, the fish's skin and scale loss are segmented using two YOLOv8 instance segmentation models. Finally, the area of the scale loss is divided by the area of the skin, effectively quantifying the amount of scale loss. To achieve this, specialized datasets were created, and the required machine-learning models were trained. ScaleGuard, a user-friendly application was also developed to make these advanced models and additional resourceful functions accessible to non-technical personnel.
On the test dataset, the fish detection model achieved a Mean Average Precision (mAP)50-95 of 87.5% with 24.69 Frames per Second (FPS) on an NVIDIA 1660Ti GPU. The skin segmentation model achieved a mAP50-95 of 98.0% with 24.15 FPS. The scale segmentation model achieved an F1 score of 76.3% with 5.94 FPS, resulting in an estimated scale loss percentage with a Mean Squared Error (MSE) of 0.278 across 10 test images. This resulted in a final pipeline able to analyze four fish per second on a low-budget GPU with high accuracy. Additionally, quantified limits mapping scale loss percentage to a LAKSVEL welfare score was established, achieving an accuracy of 85.7% over 140 test images. While the models achieved high accuracy on the test data, these images were sourced from a controlled setup above water, providing an exciting opportunity to evaluate the models on real-world underwater images. This evaluation proved that the models were not immediately applicable to the new data. However, the models showed a remarkable ability to be fine-tuned with as few as 18 images, to F1 scores of 88.2%, 98.9%, and 61.5% for fish detection, skin segmentation, and scale loss segmentation, respectively.