Optimization of a system for automatic phenotyping of juvenile lobsters through computer vision methods

Abstract

Den europeiske hummeren (Homarus Gammarus) er en av Europas mest verdifulle skalldyr. Det har vært flere forsøk på å drive storskala hummeroppdrett, men ingen har vært suksessfulle på grunn av dens aggressive og kannibalistiske oppførsel. Med små villbestander er etterspørselen i hummermarkedet stort sett udekket. Selektiv avl av den europeiske hummeren vil muligens kunne gi en variant som er betydelig mer føyelig og mer egnet for dyrking.

NTNU har siden 2017 hatt fire prosjekter som har hatt som mål å lage et system for å oppdage og eliminere aggressive hummere. De har bevist at et system som fenotyper og eliminerer aggressiv hummer i sanntid er mulig og kan ha betydelig industriinteresse. Gjennom en kombinasjon av datasyn, maskinlæring og robotikk har det blitt laget en robot og programvare som kan overvåke flere levende unge hummere, identifisere de som oppfører seg aggressivt og eliminere dem i sanntid med en høypresisjonslaser. Men, dette systemet trengte forbedringer gjennom hele operasjonen, spesielt med id-bytte mellom hummerne, et ustabilt fysisk oppsett og lavere nøyaktighet enn ønsket.

Denne oppgaven demonstrerer flere forbedringer av systemet, inkludert automatisk kalibrering med god nøyaktighet, forbedret kameraoverlegg ved bruk av homografi, et moderne dashbord for systemet, og en systemarkitektur som gjør det mulig å kjøre systemet med eller uten brukergrensesnitt.

The European lobster (Homarus Gammarus) is one of Europe’s most valuable shellfish. Even though there have been several attempts, no one has successfully managed to create a large-scale cultivation system for it due to its aggressive and cannibalistic behavior. With small wild stocks, the lobster market demand is largely unmet. Selective breeding of the European lobster could result in a variant that is significantly more docile and more suitable for cultivation.

NTNU has since 2017 had four projects that aim to create a system for detecting and eliminating aggressive juvenile lobsters. They have proven that a system that phenotypes and eliminates aggressive lobsters in real-time is possible and can have significant industry interest. Through computer vision, machine learning, and robotics, they created a robot and software to watch over a tray of live juvenile lobsters, correctly identify aggressive ones based on their interactions, and eliminate them in real-time with a high-precision laser. However, this system needed improvement throughout its pipeline, specifically with id switching between the lobsters, an unstable physical setup, and an accuracy lower than desired.

This thesis demonstrates several improvements to the system, including automatic calibration with great accuracy, improved camera overlay using homography, a modern dashboard implementation for the system, and an improved system architecture that enables running the system with or without a user interface.