Sub-pixel accuracy for motion, size and pose estimation of salmon from underwater stereo imaging

Abstract

I havbruksnæringen har det blitt mer populært å benytte seg av datasyn som et resultat av et stadig økende fokus på mindre ingripende observasjonsmetoder. Oppdrettere kan i dag benytte seg av høykvalitets kameraer for å automatisk analysere laksens adferd, uten behov for menneskelig innblanding. Denne oppgaven demostrerer hvordan kontinuerlig bevegelsesbaner og hastighet til laks kan estimeres ved å benytte stereokameraer sammen med konvensjonelle metoder for stereomatching. Dette muliggjør 3D posisjonsmålinger av matchende punkter, basert på forskyvning forskjellen mellom to stereobilder med pikselnøyaktighet. Tidligere arbeid innen relaterte datasynsfelt ga inspirasjon til å forbedre nøyaktigheten ytterligere ved bruk av stereomatching metoder som opererer på et sub-piksel-nivå. Seks forskjellige metoder har blitt undersøkt i dette arbeidet. Gjennom det presenterte arbeidet har det blitt vist at sub-piksel nøyaktighet var nødvendig for å observere ørsmå bevegelser av f.eks. laksens hodebevegelser. Det presenterte arbeidet med bevegelsesbanene ble utvidet til å estimere posituren og størrelsen på laksen, basert på en tett 3D-rekonstruksjon av lakseoverflaten med sub-piksel nøyaktighet. Det ble kvalitativt vist at posituren kan estimeres ved å tilpasse en ellipsoide til overflatepunktskyrepresentasjonen av laksen. Denne ellipsoiden kan også utnyttes til å estimere lengden og størrelsen på laksen, og viser at den foreslåtte metoden har potensial til å gi mer konsistente og pålitelige målinger sammenlignet med målinger som er utført for hånd. Gjennom dette arbeidet har alle metoder blitt evaluert basert på nøyaktighet og robusthet. Det har også blitt bevist og dokumentert at stereomatching med sub-piksel nøyaktighet er en potensiell metode for å innhente nyttig informasjon fra undervannsstereobilder og -videoer.

In the aquaculture industry, the use of computer vision has gained popularity with the emerging focus on more non-intrusive procedures. Nowadays, farmers can use cameras that provide good image-quality to automatically analyse fish behaviour without the need for any human intervention. This thesis demonstrates how continuous motion trajectories and speed of individual salmon can be estimated by using stereo cameras along with conventional matching techniques. This allows for 3D position measurements of matching features, based on the disparity shift observed between the two stereo views with pixel accuracy. Inspired by previous work in related fields of computer vision, sub pixel refinement was applied to further enhance the matching accuracy. Six state of the art methods were selected for investigation in this work. The proposed methods were selected to show a variety of approaches exploiting both the spatial and frequency domain. It was also shown that tiny movements that were not previously apparent, such as the head wiggling of the fish, can be observed when using sub pixel refinement. The presented work on the motion trajectories was extended to estimate the pose and size of the fish based on a dense 3D reconstruction of the salmon surface with sub-pixel accuracy. It was qualitatively shown that the pose can be estimated by fitting an ellipsoid to the point cloud representation of the fish. This ellipsoid can also be exploited to estimate the length and size of the fish, showing that the proposed method has the potential to provide more consistent and reliable measurements compared to manual performed measurements. Throughout this thesis, all proposed methods have been evaluated in terms of accuracy and robustness. It was then demonstrated that sub pixel refinement, combined with stereo matching was a viable method for extracting useful information from underwater stereo images and videos.