Supervised Classification Of Unlabeled Acoustic Data Utilizing Cross-Referencing With Labeled Images

Abstract

Med det økende fokuset på menneskeskapte endringer, settes mer og mer trykk på gjennvinbar og ansvarlig innhøsting av ressurser. I et forsøk på å bevare marint liv har den norske regjeringen bestemt at det må lages økologiske kart, som beskriver posisjon og mengde av viltlivsarter i norske farvann.

For å oppnå dette er et sonarsystem blitt utplassert i oslofjorden, for innsamling av store mengder marin data. Å "lable" akustisk data er tidkrevende og dyrt, og analyse er hovedsakelig basert på ad hoc matematiske metoder som er vanskelige å verifisere. Det er av interesse å finne mer kostnadseffektive metoder for å "lable" data, samt om nye gjennombrudd innen Maskinlæring (ML) kan forbedre klassifisering, sammenlignet med klassiske matematiske metoder.

I denne oppgaven demonstrerer forfatteren teknikker for innhøsting og analyse av marin data. En prosedyre for sammenkobling av optisk og akustisk data er utviklet og dens gyldighet demonstrert empirisk. Det er vist at de to datakildene kan tilstrekkelig relateres, både spatialt og temporalt. Resultatet er et rikt datasett, som er i stand til å utnytte de individuelle styrkene til hver datakilde. Teknikker innenfor dyp læring er benyttet og et nevralt nettverk (NN) er utviklet og trent på opti-akustiske data. Dette viser at overvåket klassifisering av "unlabeled" akustisk data kan gjennomføres ved hjelp av kryssreferering med "lablet" optisk data. Metodene var i stand til å korrekt klassifisere tilstedeværelsen av fisk med en nøyaktighet på 64.8% og regnes som et gjennomførbarhetsbevis.

With the increased focus on man made changes to our planet and wildlife, more and more emphasis is put on sustainable and responsible gathering of resources. In an effort to preserve marine wildlife, the Norwegian government has proclaimed a necessity for creating ecological maps, detailing the presence and amount of wildlife species in Norwegian fjords and oceans.

To this end, a submerged sonar system has been deployed in the Oslo Fjord, gathering vast amounts of marine data. Procuring labeled acoustic data is time consuming and expensive, and analysis is predominantly based on ad hoc mathematical methods that are difficult to verify. It is of interest to determine if a more cost effective labeling procedure can be devised, and if the recent breakthroughs within machine learning (ML) enables improvements within classification, compared to classical mathematical methods.

In this thesis the author demonstrates techniques for acquiring and analysing marine data. A procedure for interweaving optic and acoustic data is developed and its validity demonstrated empirically. It is shown that the two data sources can be sufficiently related, spatially and temporally, yielding a rich dataset capable of harnessing the individual strengths of each data source. Deep learning techniques are employed and a neural network (NN) is developed and trained on opti-acoustic data. The results show that supervised classification of unlabeled acoustic data can be performed, utilizing cross-referencing with labeled optic data. The methods were able to correctly classify the presence of fish with an accuracy of 64.8%, demonstrating a proof of concept.