FishNet: A Unified Embedding for Salmon Recognition

Abstract

Dagens metoder for markering og sporing av oppdrettslaks baserer seg på fysisk kontakt med fisken. Denne prosessen er både ineffektiv, stressende og potensielt skadelig for laksen. Bruken av dyp læring har de siste årene gjort store frem- skritt innenfor ansiktsgjenkjennelse hos mennesker. I denne oppgaven beskriver vi FishNet, et system som bruker dyp læring til individgjenkjenning av laks. Systemet lærer en funksjon fra bilder av laksehoder til en kompakt vektor, der likhet mellom vektorer tilsvarer likheter mellom laksen. Konvolusjonsnett brukes til å direkte optimalisere disse vektorene ved hjelp av tripler av bilder. Systemet gjør ingen antagelser om hvilke deler av laksens hode som brukes til å skille dem fra hverandre. Eksperimentene viser at teknikkene som brukes i moderne ansiktsgjenkjen- ningsprogrammer fungerer godt på laks, og at man kan få god ytelse med relativt små nevrale nett. Med en falsk positiv rate på 1% har FishNet en sann positiv rate på 96%. Denne oppgaven beskriver det første systemet som bruker ende til ende dyp læring for individgjenkjenning hos laks. Bildene brukt i oppgaven er fra kameraer i oppdrettsmærer, et miljø med mange varierende faktorer som påvirker bildek- valiteten.

The current methods of individual salmon tagging and tracking rely on physical interaction with the fish. This process is inefficient, and can cause physical harm and stress for the salmon. The use of deep learning techniques has shown great advances in the field of human face recognition. In this thesis we describe a system, FishNet, that applies one of these techniques to the field of salmon recognition. The system learns a mapping from images of salmon heads to a compact vec- tor embedding, where similarities between embeddings correspond to similarities between salmon. Convolutional neural networks are used to directly optimize the embeddings using tiplets of images. The system does not make any assumptions as to which parts of the head that are useful for distinguishing them from each other. The experiments show that modern face recognition techniques work well on salmon, and that good performance can be achieved with relatively small neural network models. With a false positive rate of 1%, FishNet achieves a true positive rate of 96%. This thesis presents the first use of end-to-end deep learning techniques in the field of salmon recognition. The images used are from cameras deployed in salmon farming pens, an environment with many variable factors influencing the image quality.