Computer Vision-Based Robot Control For Lobster Identification and Tracking

Abstract

Europeiske hummere er høyt verdsatt og har en høy pris, men i de siste tiårene har intensiv akvakultur produksjon av hummere vist seg å være vanskelig å gjennomføre. En vanlig egenskap hos hummere er agnostisk oppførsel mot andre hummere, i form av kannibalisme og aggressivitet. Denne type oppførsel gjør det vanskelig å gjennomføre vanlig oppdretts metoder, med høytetthets produksjon av hummer, ettersom bestanden vil minke når mange hummere samles. Det har det blitt påvist at valg og avl av hummere som viser mindre agnostisk oppførsel enn andre hummere kan være en løsning på dette problemet. Dette krever omfattende bruk av datasyn og robotikk for å identifisere og spore de mindre aggressive. Som et bidrag til denne løsningen, går dette prosjektet ut på å designe et sporingssystem for sanntids robot sporing av hummer posisjon i en vanntank.

For å oppnå dette, så har følgende to bidrag blitt implementert: En sanntids datasyn algoritme som sporer flere hummere i en video, og et datassyn-basert kontrollsystem som bruker sporings algoritmen for å kontrollere en robot til spore hummer posisjon. En mekanisk prototype av en xy-gantry robot, videoer av hummerunger og fysiske hummerunger imiteringer ble brukt for å utvikle disse bidragene. Flere eksprimenter ble gjennomført for å evaluare systemet.

Resultatene av eksperimentene har vist at algoritmen utviklet for å spore flere hummere klarer å spore og identifisere hummere robust i sanntid når mengden hummere ikke er altfor høyt. Det datasyn-baserte kontrollsystemet klarer å få gantry roboten til å spore hummer imiteringene som replikerer hummer bevegelse. Derimot så har maskinvare kontrolleren til gantry roboten et design som gjør det vanskelig å oppnå optimal robot respons. Dette er bare det første forsøket på robot sporing av hummer posisjon, og flere forbedringer kan bli gjennomført for å oppnå et optimalt system.

The European lobster is highly esteemed and expensive seafood, but intensive aquaculture production of lobster has been a difficulty in the last decades. A common attribute among lobster is their agnostic behavior of cannibalism and aggressiveness towards fellow lobster. This behavior makes traditional rearing practices with high-density production of lobster unfeasible, as the stock reduces when many gather. However, there has been proven that selecting and breeding lobster showing less of these agnostic behaviors could be a way to solve this problem. This requires extensive use of computer vision and robotics for identifying and tracking the less aggressive ones. As a contribution to this solution, the purpose of this project is to design a tracking system for real-time robot tracking of lobster position in a water tank.

To achieve this, two main contributions have been implemented: A real-time computer vision algorithm tracking multiple lobster in a video, and a vision-based control system using the tracking algorithm to control the robot tracking of lobster position. A mechanical prototype of a xy-gantry robot, videos of lobster juveniles, and physical lobster juvenile imitations were used to develop these contributions. Several experiments were performed to evaluate the system.

The results of the experiments have shown that the multiple-lobster tracking algorithm provides robust real-time tracking of lobster juveniles in a video when the number of lobster in the video frame area is not too high. The vision-based robot control system has enabled the gantry robot to track lobster imitations at varying speeds. However, the gantry robot's hardware controller has a design that makes it challenging to obtain optimal robot response. This is only the first attempt on robot tracking of lobster position, and several improvements can be made to achieve the optimal system.