Detecting Road Surface Distress using Deep Learning

Abstract

Ifølge Statistisk Sentralbyrå finnes det totalt sett 54 899 km fylkes- og riksveier som Statens vegvesen er ansvarlig for å vedlikeholde. Dette er en kostbar og tidkrevende oppgave. Hvert år blir kamerabiler sendt ut for å kartlegge veiene. Hvert bilde er merket med koordinater. Bare en liten del av bildene blir manuelt analysert. I denne oppgaven ble 'deep learning' brukt til å klassifisere og kategorisere veioverflateskader. Automatisert analyse av veitilstand kan bidra til å forbedre oversikten over hvilke veier som har størst behov for vedlikehold. De følgende tre metodene ble undersøkt; CNN, autoencoder og objekt detektering. Statens vegvesen overleverte de to forskjellige datasettene som modellene ble testet på. På grunn av små datasett ble 'Transfer learning' benyttet. Autoencoder- og CNN-modellen som ble testet, produserte ikke brukbare resultater. De beste resultatene ble oppnådd ved bruk av en Faster R-CNN-modell som var forhåndstrenet på MS COCO datasettet. Alle modeller var dårlige til å skille mellom klasser og de ulike alvorlighetsgradene. Dette problemet kan reduseres eller elimineres ved å trene på et mer omfattende datasett. Den praktiske implementasjon av modellen ble forenklet ved å lage et nettsted som grensesnitt. Flere bilder kan lastet opp, og skadene vil bli tegnet inn i et intensitet-kart.

According to Statistics Norway there are a total of 54 899 km of county- and national roads which The Norwegian Public Road Administration (NPRA) is responsible for maintaining. This is a costly and time-consuming task. Survey vehicles are deployed to map the roads each year. This is partially done by photography. Each photo is tagged with geolocation. Only a portion of the photos are manually analyzed. In this thesis, the use of deep learning to classify and categorize road surface distress were tested. The automatic analysis of road conditions can help improve the overview of which roads are due for maintenance. Three main approaches were tried; CNN, autoencoder, and object detection. The NPRA provided two different datasets which the models were tested on. Transfer learning was used due to small datasets. Both the autoencoder and CNN models which were tested, performed poorly. The best results were achieved by a Faster R-CNN model pre-trained on the MS COCO dataset. All models were poor at differentiating between classes and degrees of severity. This problem can be reduced or rectified provided a more substantial dataset. The practical application of the model was simplified using a website as an interface. It allows for multiple images to be uploaded, rendering the accumulation of damages in a heatmap