Interaction detection, tracking and pose estimation in lobster farming

Abstract

Hummer-oppdrett har holdt seg relativt urørt av maskinlærings-metoder, og siden priser og etterspørsel stadig har økt internasjonalt, så er det tydelig at det er muligheter for innovasjon innen oppdrets-teknikker for å møte den økende etterspørselen. Men foring av hummer på industriell skala er arbeidsintensivt, og moderne annlegg er ikke skalerbare på grunn av at individuelle hummer blir oppdratt i egne inngjerdinger. I denne oppgaven kommer vi til å undersøke en mulig implementering av å avle flere hummer i samme basseng, for å få drift opp på industriell skala. En viktig betingelse for å få til dette er å forsterke ønskede atferder i individuelle hummer.

Problemet med å avle mange hummer i samme inngjerding, er at hummer er veldig territorielle skapninger, der de fleste vil forsøke å håndheve sin dominans på bekostning av alle andre individer i samme basseng. Dette ender opp i mye unødvendig tap av hummerliv. Disse interaksjonene mellom hummer er uforutsigbare, og en enkelt episode trenger ikke vare lengre en et brøkdels sekund. Kravene til en menneskelige observatør er tolmodighet og raske reaksjonsevne, og oppgaven i seg selv er tidkrevende, da individuell adferd må spores over lang tid.

Vi foreslår en mulig løsning for å automatisere denne oppgaven, ved å bruke moderne datasyn-teknikker. Vi bruker standard arkitekturer som R-CNN, RetinaNet og YOLO, for å utforske mulighetene ved å bruke objektdeteksjon og keypoint-rammeverk for å predikere hummer-interaksjoner. Resultatet fra disse netverkene vil så bli matet inn i en SORT algoritme for å spore posisjoner til individuelle hummer over lengre tidsstrekninger. Resultatet er et enkel, skalerbart, automatisert system for å samle informasjon til hummer-oppdredtere for å bestemme hvilke hummer som egner seg til videre avl.

The field of lobster farming has remained relatively untouched by machine learning applications for a long time, and as the price and demand of lobsters have steadily increased in recent years, there are opportunities to innovate in farming methods to meet the increasing demand. However processes such as feeding is labour intensive, and state of the art facilities are barely scaleable, where most facilities keep lobsters in separate holding cages. In this thesis we will address parts of a possible implementation of multi-lobster pools, to address the challenges current solutions face. To succeed, one has to reinforce specific traits through selective breeding.

The issue with raising multiple lobsters in shared pools is due to their territorial nature, where individuals will try to establish dominance and ultimately dispose of any possible rival. These interactions happen unpredictably and can last mere fractions of a second. The requirements of human observers to chart individual behaviour are patience and quick reflexes, and the task itself is incredibly time consuming as behaviour has to be tracked for extended periods of time.

We propose a possible solution to automate the task of behavioral tracking, using state of the art computer vision techniques. Applying common architectures such as R-CNN, RetinaNet and YOLO, we explore the possibility of using object detection and pose estimation frameworks to detect lobster interactions. The output of these networks are then fed into the SORT algorithm to track the positions of individual lobsters over extended periods of time. The result is a simple, scalable automated system to serve information to lobster breeders as to which individual lobster is suitable for further breeding.