Robust Fish Cage Hole Detection in Challenging Environments - Rethinking Spatiotemporal Deep Learning and Advanced Computer Vision Techniques

Abstract

I 2019 alene ble nesten 300.000 atlanterhavslaks rapportert rømt fra norske oppdrettsanlegg. Dette antallet tilsvarer over halve den gjenværende villaksbestanden. En vanlig fluktrute går gjennom hull i nota, og regelmessig kontroll av nettintegriteten på et oppdrettsanlegg er derfor et nødvendig preventivt tiltak. Et komplett algoritmisk rammeverk har blitt initiert for å automatisere søket etter hull i nettmaskene i en videosekvens filmet av undervannsrobot under notvask. Rammeverket presenterer en ny strategi for å segmentere nettmasker ved hjelp av en U-Net-variant kalt MultiRes U-Net. En liten endring i U-Nettet foreslås for å fremme koherensen til segmenteringene i både tid og rom uten å øke behovet for regnekraft stort. Å bruke kunstig intelligens, i motsetning til tradisjonelle metoder som kantdeteksjon eller histogramanalyse, mulliggjør en sømløs segmenteringsporosess hvor fisk, utstyr, grumsete vann og eventuelle fremmedlegemer ignoreres. For å oppdage uregelmessigheter i nota foreslås en adaptiv prosedyre basert på morfologiske operasjoner og segmentsvulming, som analyserer videosekvensen bilde-for-bilde. Et filter ser de oppdagede uregelmessighetene i sammenheng med tidligere oppdagelser og verifiserer de som oppstår på omtrentlig samme sted med omtrentlig samme utstrekning. Et dypt konvulerende nevralt nettverk basert på VGG16-modellen har videre blitt spesialisert på å se forskjell på nettstruktur, fisk, og vrøvl. Verifiserte uregelmessigheter blir inspisert av dette nettverket, og siden hull utelukkende kan oppstå innad i nettstruktur, avvises uregelmessigheten dersom den klassifiseres som fisk eller vrøvl. Lovende resultater ble oppnådd, og de fleste hullene i ti krevende 10-sekunders testvideoer ble identifisert. Spesielt overbevisende var prestasjonene til de dype nevrale nettverkene brukt til segmentering og klassifisering. Bilde-for-bildeprosedyren for uregelmessighetsdeteksjon og den påfølgende filtreringen behøver videre arbeid for å gjøre rammeverket ytterligere robust og effektivt.

In 2019 alone, close to 300,000 Atlantic Salmon reportedly fled Norwegian aquaculture sites, which is more than half the number of the remaining wild stock. A common escape route is through net holes, and frequent inspection of fish cage integrity is therefore a necessary preventative measure. A complete algorithmic framework has been initiated to fully automatise the search for net holes in a video sequence captured by a remotely controlled vehicle carrying out a net cleaning operation. The framework presents a new strategy for net thread segmentation utilising a U-Net variant called MultiRes U-Net. A computationally efficient alteration to the U-Net’s input layer is proposed to encourage its spatiotemporal coherency. The introduction of artificial intelligence for segmentation, contrary to traditional edge detection or histogram thresholding, allows seamless discrimination of intelligible net structure from noisy surroundings such as turbulent water, fish, and equipment. An adaptive scheme based on morphological operations and region growing is suggested as a frame-by-frame irregularity detector, and a spatiotemporal filter to verify irregularities that occur in the same area over a certain period of time. A deep convolutional neural network based on the VGG16 model has been specialised on separating net structure from fish and nonsense to classify verified irregularities – a final barricade to prevent objects falsely included in the segmentation from being reported as holes. Promising results were achieved, and most holes present in a set of ten 10- second test videos shot in challenging real-world scenes were correctly identified. Particularly satisfactory were the performances of the deep learning approaches to scene segmentation and irregularity classification, whilst the local irregularity detector and the spatiotemporal filter require further work to improve the robustness and the efficiency of the framework.