Attention segmentation approaches for plankton images captured in-situ

Abstract

Plankton er svært viktig for marine økosystemer, og for å forstå hvordan klimaendringer påvirker liv i vann er det nyttig å få innblikk i hvordan plankton bestander påvirkes av et endret klima. Målet med denne oppgaven er å finne effektive metoder for deteksjon av plankton i sanntid ved å skille forgrunn fra bakgrunn i bilder tatt av et autonomt undervannskjøretøy (AUV). Vi skiller forgrunn fra bakgrunn pixel for pixel, og dette kaller vi forgrunn-segmentering. I senere år har bruken av dype nevrale nett ført til store framskritt innenfor datasyn. I oppgaver som har til hensikt å klassifisere alle pixeler i bilder, har dype nevrale nettverk med enkoder-dekoder struktur vist seg å være effektive. I denne oppgaven utføres omfattende testing av dype nevrale nettverk for forgrunn-segmentering. Fem nettverk for forgrunn-segmentering er implementert og testet. Disse er U-net, U-net ++, LinkNet, DeepLab V3 + og Pyramid attention network (PAN). Flere kost-funksjoner er testet i trening av nettverk for å finne hvilken kost-funksjon som er best egnet for formålet. Flere forhåndstrente enkodere testes sammen med nettverkene. Gjennom en elimineringsprosess siles metoder ut. Metodene vurderes etter hvor gode de er til å skille forgrunn fra bakgrunn, og etter hvor lang kjøretid de har for prediksjoner. Til slutt anbefales to metoder. Den første metoden er metoden som oppnår den beste ytelsen i eksperimenter, og den andre metoden er en metode som gir lave kjøretider og høy ytelse i eksperimenter. Datasettet som brukes til forgrunn-segmentering er ganske lite, med bare 312 merkede bilder. Bildene er manuelt merket av en biolog. For å generere mer treningsdata, blir segmentering ved bruk av blandede gaussiske distribusjoner utført for bilder i treningssettet. Dette fungerer som et spesielt tilfelle av dataøkning. Ytelse sammenlignes mellom modeller som er trent på det originale datasettet som bare inneholder manuelt merkede bilder, og modeller som er trent på et forstørret datasett som inneholder manuelt merkede bilder og bilder som er merket gjennom segmentering med blandede gaussiske distribusjoner. En liten forbedring i ytelse oppnås fra modeller trent med det forstørrede datasettet.

Insight on changes in abundance and distribution of plankton can help scientist better understand effects of climate change on marine ecosystems. The aim of this thesis is to find efficient methods for attention segmentation for real-time detection of plankton in images captured by an autonomous underwater vehicle (AUV). Attention segmentation refers to pixel-wise segmentation of foreground from background. In recent years, Deep convolutional neural networks have conquered most computer vision fields. For the computer vision task of attention segmentation, convolutional neural networks with encoder-decoder structures have been proven successful. In this thesis, comprehensive testing of deep learning methods for attention segmentation is carried out. Five networks for attention segmentation are implemented and tested. These are U-net, U-net++, LinkNet, DeepLab V3+ and Pyramid attention network (PAN). Several loss functions are tested in training of networks to find which loss functions are best suited for the segmentation task. As backbones for the networks for attention segmentation, five pre-trained encoders are implemented and tested. Through a process of elimination, candidate methods are narrowed down. The methods are measured on segmentation performance and run-time for predictions. Finally two methods are recommended for attention segmentation for the planktonic images. The first method is the method achieving the best segmentation performance in experiments, and the second method is a method yielding low run-times and high performance in experiments. The planktonic dataset for which attention segmentation is performed in this thesis is rather small, with only 312 manually labeled images. To generate additional training data, Mixture-Gaussian-based segmentation is carried out on images in the training set. This acts a special case of data augmentation. Segmentation performance is compared between models trained on the original dataset containing only manually labeled images, and models trained on an enlarged dataset containing manually labeled images and images labelled through MixtureGaussian-based segmentation. A small improvement in segmentation performance is obtained from training models on the enlarged dataset.