Vision based real-time fish counting, inspection and classification using deep learning

Abstract

Dagens fisketellere er avhengige av å mate fisk gjennom dedikert utstyr som en del av fisketransporten. Denne oppgaven foreslår et alternativ basert på maskinsyn, som bruker videokamera montert over samlebånd for å telle, inspisere og klassifisere fisk. Den foreslåtte løsningen er basert på mutiple object tracking algoritmer, som ved bruk av dype kunstige nevrale nettverk detekterer og sporer fisk fra bilde til bilde i videoen. Ved å spore fisk gjennom videoen, er det mulig å kun telle hver fisk en gang, og det muliggjør også fiskeinspeksjon og klassifisering som er avhengig av sporing av fisk. I tillegg til å telle fisk, undersøker denne oppgaven også metoder for påvisning av skader og metoder for å klassifisere fisk som død eller levende.

Eksperimentene som ble utført viser at den utviklede løsningen presterer bedre i fisketelling enn eksisterende fisketellere, med en sann nøyaktighet på over 98 %, opp mot over 99 % når falske positiver er inkludert. For fiskeinspeksjon er nøyaktigheten til deteksjon av skader nær 90 %, opptil 95 % med falske positive skader. Klassifiseringsnøyaktigheten er rundt 70 % for levende fisk og 90 % for død fisk, noe som resulterer i en samlet score på rundt 100 % når falske positiver fra hver kategori er inkludert. Inspeksjonsresultatene er lovende, men det kreves ytterligere arbeid for å forbedre resultatene enda mer.

Datasettene som ble brukt til å trene maskinlæringsnetverkene er et annet bidrag fra dette arbeidet. De ble laget spesielt for prosjektet, og er laget av videomateriale fra et transportbånd i bruk.

Current fish counters rely on feeding fish through dedicated equipment as a part of the fish transportation. This thesis proposes a vision-based alternative, using cameras mounted above conveyor belts to count, inspect, and classify fish. The proposed solution is based on a multiple object tracking algorithm, using deep learning to detect and track fish from frame to frame in a video. Tracking of fish through a video ensures that each fish is only counted once, and it also enables fish inspection and classification. Thus, in addition to fish counting, this thesis also investigates damage detection approaches and methods for classifying fish as dead or alive.

The experiments conducted show that the developed solution performs better in fish counting than existing fish counters, accurately counting above 98\% of fish, with a total score of above 99\% when including fish counted twice. For fish inspection, the damage detection accuracy is close to 90\%, up to 95\% with false positives. Classification accuracy is around 70\% for alive fish and 90\% for dead fish, resulting in a total score of around 100\%, when including the false positives from each category. The inspection results are promising, though further work is required to improve the results even more.

The datasets used for training the deep learning networks, another contribution of this work, were created specifically for the project, using video footage from a conveyor belt in use.