Deteksjon av trafikkskilt med dype nevrale nettverk

Abstract

Object Recognition er i dag et svært akuelt og populært fagområde, hvor store framskritt har blitt oppnådd i senere tid. Det er et fagområde som kan brukes til alt fra selvkjørende biler og automatisk bildetagging til opplåsing av mobiltelefoner og masseovervåkning av mennesker. Det har blitt påstått at selvkjørende biler kan redde opptil 90% av de som ellers ville omkommet i trafikkulykker. Som et steg på veien dit er man, blant mye annet, nødt til å kunne gjenkjenne trafikkskilt. Å detektere objekter i bilder er vanskelig, og å detektere små objekter er enda vanskeligere. I denne rapporten utforskes egnetheten til å utføre deteksjon av trafikkskilt i sanntid ved bruk av Faster R-CNN [1]. Gjennom arbeidet i dette prosjektet er det utarbeidet en grunnmodell som oppnår 34.4 mAP på testdelen av datasettet GTSDB [2], og bruker 2.68 sekunder per bilde. Videre er det eksperimentert med augmentering av datasettet for å minske graden av overtilpasning av modellen til treningsdatasettet. Resultatene viser at forsiktig skifting, rotasjon og skalering, samt moderat tilfeldig beskjæring og strekking av testdata øker treffsikkerheten markant på testdatasettet. For å gjøre modellen lettere å kjøre i sanntid ble det eksperimentert med reduksjon av regionforslag under testing av modellen. Ved å redusere antallet regionforslag oppnådde modellen en inferenstid på 0.276 sekunder uten et tilhørende tap i treffsikkerhet. Dette bestrider tidligere forsøk med Faster R-CNN på andre datasett [3].

Object Recognition is currently a very active and popular field of study, where great advances have been made in the last half a decade. Its techniques can be used for everything from self driving cars and automatic picture tagging to unlocking your phone and mass surveillance of human beings. Claims have been made that self driving cars can recude the number of traffic fatalities by 90%. One step towards self driving cars, among much else, is detection of traffic signs. Detecting objects in pictures is hard, and detecting small objects is even harder. In this report we investigate the suitability of performing detections of traffic signs in real time with Faster R-CNN. Through the work in this project, a basline model was trained that accomplished 34.4 mAP on the test split of GTSDB, and and inference time of 2.58 seconds per image. Further it was experimented with augmentation of the dataset to avoid overfitting the model on the training dataset. The results show that careful shifting, rotation and scaling, as well as random cropping and stretching of the training images significantly increased the accuracy on the test dataset. To make the model possible to run in real time it was experimented with reduction of the number of region proposals from the RPN during test time. By reducing the number of regions the model achieved an inference time of only 0.276 seconds without an accompanying loss in mAP. This contradicts the results of Faster R-CNN on other datasets.