Classifying filling rate of waste in containers using Machine Learning

Abstract

I denne masteroppgaven gjøres eksperimentelt arbeid på et pågående prosjekt mellom to bedrifter, Veidekke og Acando. På Veidekkes byggeplasser er det mange avfallscontainere. Veidekke ønsker at Acando skal automatisere prosessen med å tømme fulle containere, hvor en ekstern bedrift henter en full container og etterlater en tom. Acando bestemte at dette skulle bli gjort ved å overvåke containerne med et kamera, og detektere når det ble fullt via en maskinlæringsmetode kalt Convolutional Neural Network (CNN).

Innføringen av et CNN medfører visse krav. En stor mengde bilder må manuelt klassifiseres for at CNN kan trenes opp til å detektere sitt gitte objektiv. Ettersom at dette kostbart i form av tid og penger, undersøker denne oppgaven muligheten for å finne en løsning som ikke krever manuell klassifisering og krever færre bilder. Dette er gjort via en ikke-veiledet maskinlæringsmetode kalt K-means, som grupperer data i henhold til datapunktenes euklidiske nærhet. For å kunne gruppere bildene via K-means, må bildene kunne representeres numerisk. Dette blir gjort ved å anvende Feature Extraction-metoder på bildene, for så å danne en vektor bestående av numeriske representasjoner av disse metodene.

Totalt fem forskjellige tester ble gjennomført i denne masteroppgaven. Fire av disse bestod i å undersøke ikke-veiledet maskinlæringsmetoders mulighet for automatisk klassifisering. Den femte testen bestod i å implementere en åpen kildekodeløsning for et CNN, for å se hvor godt denne kunne klassifisere dataen gitt for dette prosjektet. Datasettet av bilder brukt i denne oppgaven ble delt inn i fem klasser. Klassene representerte i hvilken grad en container var fylt, henholdsvis "0%", "25%", "50%", "75%" og "100%". Målet med denne oppgaven var å se hvor suksessfull de forskjellige metodene var i å korrekt klassifisere disse fyllingsgradene.

Det ble funnet at CNN-metoden hadde en suksessrate på 49.5% korrekt klassifisering, hvorav den beste ikke-veiledete maskinlæringsmetoden oppnådde 57.4% korrekt klassifisering. Den relativt lave suksessraten var funnet å grunne i at datasettet var for lite for CNN-metoden, kombinert med at den manuelle klassifiseringen trolig gjorde visse feil-klassifiseringer. For ikke-veiledet læringsmetodene var det antatt at Feature Extraction-metodene ikke var helt suksessfulle til å gi gode numeriske representasjoner grunnet støy i bildene. Likevel ble det funnet en måte å automatisk klassifisere fyllingsgraden i containerne, også med drastisk færre bilder sammenlignet med CNN, som virker lovende for videre arbeid dersom man forbedrer muligheten for å utelukke støy.

This thesis is doing exploratory work on a project between two companies, Veidekke and Acando. On Veidekke's construction site, there are containers filled with waste. They want Acando to automate the process of finding out when a container is full, and alert those responsible for picking up the full container and replacing it with an empty one. This was decided to be done by monitoring the containers by camera and use a supervised machine learning method called Convolutional Neural Networks (CNN), to classify the filling of waste and detect when the container is full.

Implementing a CNN places certain requirements. A large number of images is needed to train the network, and the images need to be labeled such that the CNN is trained to correctly classify new images. As this can prove costly, this thesis aims to find a solution that can bypass labeling, and use less images. This is done by using an unsupervised learning machine learning method called K-means, which groups data based on proximity. In order to group images, they need to be translated to a numerical representation. This is done in this thesis by applying six feature extraction methods on each image, and creating a feature vector of single number representations of each feature extraction.

Four different tests were conducted in order to measure to which degree the unsupervised learning method correctly classified the labeled images. A CNN was implemented, trained on the same dataset of images and tested for success of this method with regards to the same parameters. The filling rate of the container was divided into 5 classes, namely "0%", "25%", "50%", "75%" and "100%" full. The goal of the tests were to see how successful each method could correctly classify all classes.

It was found that the CNN had a success rate of 49.5% correct classification, whereas the unsupervised learning method scored 57.4%. The relatively low success rates were found to be due to too small of a dataset for the CNN and some human error in classification. For the unsupervised learning solution there were possibly unsuccessful feature representations, due to environmental noise. However, a way was found to automatically classify images with a drastically reduced amount of only 25 images, which could prove promising in case better feature representations or cleaner environment are used.