Comparing optical and acoustic images in underwater fish detection

Abstract

Den norske regjeringen har brukt betydelige midler for å prøve å preservere the marine lives i Oslofjorden etter år med minkende popilasjon av flere maritime arter grunnet hovedsaklig mennesklig aktivitet. Derfor har oppgaven med å få bedre oversikt over dyrelivet i fjorden startet. Ulike måter å holde rede p˚a dyrelivet vil bli diskutert og to bildesøkingssystemer vil bli implementert med forskjellige funksjoner for å holde oversikt over de maritime befolkningene i Oslofjorden. Den ene er basert på ekkogram laget av sonar med delt lys, mens den andre er basert på optiske bilder fra et kamera. Begrensningsboksene fra systemene ble hentet ut og matchet på forskjellige måter for å se etter sammenhenger mellom informasjonen fra disse sensortypene. Ulike maskinlæringsalgoritmer vil bli sett på før vi bestemmer det som er best egnet for denne typen oppgaver. Ulike forhold som kameraet og ekkoloddet blir påvirket av og hvordan forholdene påvirket kvaliteten p˚a bildedataene vil ble diskutert. Bildedeteksjonssystemet basert p˚a optiske bilder ble implementert som en en-klasses fiskedetektor og oppn˚adde en AP på 92,41 % under trening etter ˚a ha vært trent med 500 bilder og en AP p˚a 96,81 % etter ˚a ha være trent med 2000 bilder. Bildedeteksjonssystemet basert p˚a akustiske data ble implementert ved ˚a bruke tilbakespredningsvolumet (Sv) fra ekkogrammet og fikk en AP p˚a 94,62 %. Dette var ogs˚a et klassesystem og oppdaget fiskeskoler i stedet for enkeltfisk. Ingen mulig samsvar ble funnet mellom de to sensortypene. Denne mulige ˚arsaken til at Sv-bildesystemet kanskje ikke har oppdaget biomasse som opprinnelig beregnet, men i stedet støy og / eller forskjellige forurensninger som snegler og / eller tang

The Norwegian government has put in a notable effort in trying to preserve the marine life in the Oslofjord after years of declining population of various maritime species due to mostly human activity. Hence, the task of getting an better overview of the wildlife in the fjord has started. Different ways of keeping track of the wildlife will be discussed and two image detection systems will be implemented with different functionalities in keeping track of the maritime populations in the Oslofjord. One is based on echograms created from split-beam sonar while the other is based on optical images from a camera. The bounding boxes from the systems were extracted and matched various ways in order look for correlations between the information gained from these sensor-types. Various machine learning algorithms will be looked at before determining the best suited for this type of task. Different conditions that the camera and sonar were under and how the conditions affected the quality of the image data were discussed. The image detection system based on optical images were implemented as a one-class fish detector and achieved a AP of 92,41% while training with 500 images and and AP of 96,81% while training with 2000 images. The image detection system based on acoustic data was implemented by using the backscatter volume (Sv) from the echogram and received a mAP of 94,62%. This was also a one-class system and detected schools of fish rather than single fish. No possible matching were found between the two sensor types. This possible reason why is that the Sv image detection system might not have detected biomass as original intended but noise and/or different contaminants such as snails and/or seaweed.