FishNet: A Unified Embedding For Salmon Recognition

Abstract

Dagens metoder for markering og sporing av oppdrettslaks baserer seg p˚a fysisk kontakt med fisken. Denne prosessen er b˚ade ineffektiv, stressende og potensielt skadelig for laksen. Bruken av dyp læring har de siste ˚arene gjort store fremskritt innenfor ansiktsgjenkjennelse hos mennesker. I denne oppgaven beskriver vi FishNet, et system som bruker dyp læring til individgjenkjenning av laks.

Systemet lærer en funksjon fra bilder av laksehoder til en kompakt vektor, der likhet mellom vektorer tilsvarer likheter mellom laksen. Konvolusjonsnett brukes til ˚a direkte optimalisere disse vektorene ved hjelp av tripler av bilder. Systemet gjør ingen antagelser om hvilke deler av laksens hode som brukes til ˚a skille dem fra hverandre.

Eksperimentene viser at teknikkene som brukes i moderne ansiktsgjenkjenningsprogrammer fungerer godt p˚a laks, og at man kan f˚a god ytelse med relativt sm˚a nevrale nett. Med en falsk positiv rate p˚a 1% har FishNet en sann positiv rate p˚a 96%.

Denne oppgaven beskriver det første systemet som bruker ende til ende dyp læring for individgjenkjenning hos laks. Bildene brukt i oppgaven er fra kameraer i oppdrettsmærer, et miljø med mange varierende faktorer som p˚avirker bildekvaliteten.

The current methods of individual salmon tagging and tracking rely on physical interaction with the fish. This process is inefficient, and can cause physical harm and stress for the salmon. The use of deep learning techniques has shown great advances in the field of human face recognition. In this thesis we describe a system, FishNet, that applies one of these techniques to the field of salmon recognition.

The system learns a mapping from images of salmon heads to a compact vector embedding, where similarities between embeddings correspond to similarities between salmon. Convolutional neural networks are used to directly optimize the embeddings using tiplets of images. The system does not make any assumptions as to which parts of the head that are useful for distinguishing them from each other.

The experiments show that modern face recognition techniques work well on salmon, and that good performance can be achieved with relatively small neural network models. With a false positive rate of 1%, FishNet achieves a true positive rate of 96%.

This thesis presents the first use of end-to-end deep learning techniques in the field of salmon recognition. The images used are from cameras deployed in salmon farming pens, an environment with many variable factors influencing the image quality.