Machine vision for quality sorting of salmonid fish eggs

Abstract

I fiskeoppdrett er kvalitetskontroll og fjerning av døde fiskeegg, også omtalt som rogn, første steg i produksjonsprosessen. Mengden av rogn som overlever dette stadiet og vokser til fiskeyngel er tungt knyttet til hvor ofte og hvor nøye dette blir gjennomført. Grunnlaget for dette er at død rogn gir forurensing i vannet og gir mulighet for at sopp kan begynne å gro. Dette vil føre til rask død av nærliggende rogn. Ettersom prosessen med kvalitetskontroll og fjerning av død rogn er svært tidkrevende og repetativt arbeid, er det ønskelig å automatisere dette.

Målet med denne oppgaven var å utvikle et system som kunne identifisere og bestemme plasseringen av død rogn. Et prosjekt ble avsluttet høsten 2019 som beviste at maskinsyn og dyp læring kunne brukes til å oppdage død rogn, men det hadde en for lang kjøretid. Fokuset for denne oppgaven var å optimalisere datasynssystemet slik at det hadde en rimelig kjørestid på en Raspberry Pi 4, samt å teste metoder for å bestemme rognens dybde.

Denne avhandlingen brukte et Konvolusjonelt nevralt nettverk med tok inn utklipte områder av bildet for å identifisere død rogn. For å identifisere hvilken bildeoppløsning og nettverksstruktur som ga både nøyaktige resultater og lav kjøretid, ble det utført testing med forskjellige modellstrukturer og bildeoppløsninger. Alle modellene var av sekvensiell type og var basert på strukturen til VGGNet. Resultatene som ble funnet var at en bildeoppløsning på 10x10 piksler på inngangen til nettet var mest nøyaktig. Sluttresultatet var en nedgang på 92,6\% i kjøretid til programvaren sammenlignet med systemet utviklet høsten 2019. Systemet ble også gjort mer robust mot forskjellige lysnivåer ved bruk av dynamisk terskling.

To metoder for dybdemåling som ikke krevde kontakt ble testet. Den første involverte en infrarød-sensor som måler sendetid. Resultatene viste dårlig nøyaktighet og støyende data når den ble brukt på en metalloverflate. Den andre metoden var en kombinasjon av en ultrasonisk sensor og en linjelaser som utnyttet Snells lov. Resultatene viser at ultralydsensoren var i stand til å måle avstanden til vannoverflaten. Imidlertid var dybdemålingen som ble utført med lasermetoden unøyaktig på grunn av den høye presisjonen som kreves i montering av utstyret.

Konklusjonen er at systemet er funksjonelt hvis vanndybden måles manuelt, men ytterligere testing av metoder for dybdemåling anbefales.

In aquaculture industry, quality sorting of roe is the first step in the production process. Quality sorting involves removal of dead, damaged or fungal infected roe. This is done because dead roe allows for growth of aquatic fungus and causes rapid death of surrounding roe as the fungal infection spreads. The amount of roe that produces fish is a result of how well and often the quality sorting was performed. However, the removal of dead roe is a time-consuming task, and there is therefore an interest in automating it.

The goal of this thesis was to develop a system that could identify and determine the placement of dead roe. A project was completed in autumn 2019 that proved that machine vision and deep learning could be used to detect dead roe, but it had a long execution time. The focus of this thesis was to optimise the vision system so it had a reasonable execution time on a Raspberry Pi 4, and test methods for determining the depth of the roe.

This thesis used a Convolutional Neural Network with a sliding window approach to identify dead roe. In order to identify what image resolution and network structure size that gave both accurate results and low execution time, testing were done with different models structures and image resolutions. All models were of the sequential type and was based on the structure of VGGNet. The results found was that an input image resolution of 10x10 pixels was most accurate. The end result was a 92.6% decrease in execution time for the software compared to the system developed in autumn 2019. The system was also made more robust to differing light levels by use of dynamic thresholding.

Two noncontact methods for depth measurement was tested. The first involved a time of flight Infrared-sensor. The results showed poor accuracy and noisy data when used on a metal surface. The second method was a combination of a ultrasonic time of flight sensor and a line laser that utilised Snell's law. The results show that the ultrasonic sensor was able to measure the distance to the water surface. However, the depth measurement done with the laser method was inaccurate due to the high precision required from the mounting of the equipment.

In conclusion, the system is functional if the water depth is measured manually, but further testing of methods for depth measurement is recommended.