Systematic Analysis of Experiments on Sub-Carangiform Fish Hydrodynamics

Abstract

Målet med denne oppgaven er å undersøke om det er en måte å systematisk samle data fra fiskesvømmeeksperimenter slik at fremtidig datautvinning for påfølgende analyse kan foregå mye raskere.

Det er gjort et forarbeid for å kartlegge denne muligheten, som konkluderte med at det faktisk burde være mulig, og indikerte at detectron2 ville være en maskinlæringsalgoritme å basere arbeidet på.

Hensikten med denne oppgaven er deretter å undersøke en systematisk tilnærming til fiskebevegelsesanalyse ved bruk av maskinlæringsobjektidentifikasjon og segmentering for å trekke ut fiskekonturer fra videoeksperimenter av svømmende fisk. Dette gjøres ved hjelp av detectron2, et toppmoderne rammeverk for dyplæring utviklet av FacebookAI, for objektdeteksjon og segmentering. Segmentering er når omrisset av objekter blir funnet, noe som er avgjørende for hva denne oppgaven skal oppnå. Når disse konturene, eller maskene, er funnet, blir de behandlet slik at de kan brukes til dataekstraksjon av fiskens midtlinje. Fiskens midtlinje er ryggraden til fisken.

Når maskene er produsert, håndteres de av et annet program, en midtlinjeekstraktor. Denne funksjonen trekker dem ut med en enkel algoritme som ikke er robust for andre testoppsett. En mye mer robust metode for utvinning ble forsøkt implementert, men det var ikke mulig å oppnå brukbare resultater.

Til slutt ble de resulterende midtlinjene behandlet i en enkel hydrodynamisk analyse for å sjekke at de ikke bare så bra ut i plott, men at metodene beskrevet ovenfor faktisk gir resultater som kan brukes til forskning.

Oppgaven har blitt ansett som en suksess, på grunn av tidsmessige bekymringer kunne en dypere hydrodynamisk analyse ikke utføres, men hovedmålene for oppgaven ble likevel oppnådd.

The goal of this thesis is to examine if there is a way to systematically gather data from fish swimming experiments so that future data extraction can be much faster.

A precoursing work has been done to map out this possibility, which concluded that it should indeed be possible, and indicated that detectron2 would be a machine learning algorithm to base the work off of.

The purpose of this thesis is then to investigate a systematic approach to fish locomotion analysis using machine learning object identification and segmentation to extract fish outlines from video experiments of swimming fish. This is done using detectron2, a state of the art deep learning framework developed by FacebookAI, for object detection and segmentation. Segmentation is when the outline of objects are found, which is essential to what this thesis sets out to accomplish. Once these outlines, or masks, are found, they are processed so that they are usable for data extraction of the fish midline. The fish midline is the spine of the fish, or in other words the middle line.

Once the masks are produced, they are handled by another program, a midline extractor. This function extracts them by a simple algorithm which is not robust to other test setups. A much more robust method of extraction was tried to be implemented, but it was not possible to achieve usable results.

Lastly, the resulting midlines were processed in a simple hydrodynamical analysis to check that they not only looked good in plots, but that the methods described above actually produce results that can be used for research.

The thesis has been deemed a success, due to time-concerns a deeper hydrodynamical analysis could not be performed, but the main goals of the thesis were still achieved.