A Proposed Solution for Detection, Classification and Geopositioning of Traffic Signs, Utilizing Machine Learning, Images and LIDAR Data

Abstract

Moderne maskinlæringsmetoder gjør det mulig å la maskiner utføre oppgaver som kan være monotone og tidkrevende for mennesker, eller å analysere store mengder data som vil være umulig for mennesker å prosessere. Denne oppgaven presenterer en prototype til et system som bruker maskinlæring til å detektere trafikkskilt i bildedata, klassifisere de detektere skiltene, og finne en tilnærming til skiltenes geolokasjon ved hjelp av LIDAR data. Maskinlæringsmodellen YOLOv5 ble valgt blant flere kandidater basert på både prestasjon og muligheten for integrasjon med resten av systemet. En modell til klassifisering ble satt sammen med Tensorflow-biblioteket i Python, og er basert på litteratur om tidligere modeller som har vært brukt til lignende formål. En pinhole-kamera-metode for å bestemme geolokasjonen til de detekterte objektene ved hjelp av LIDAR-data blir foreslått og integrert i prototypen. Alternative metoder for å finne en tilnærming til objektenes geolokasjon blir også diskutert. Prototypen er et modulært system, som inkluderer et enkelt web-basert brukergrensesnitt hvor en operatør kan initiere prosessen som gjennomfører deteksjon, klassifisering og geoposisjonering på et datasett som korresponderer til en veistrekning. Sytemet returnerer et JSON-objekt som inneholder alle de detekterte objektene, som så kan inspiseres av operatøren og lastes opp en database sammen med opprinnelige bilder og utklipte objektbilder. Systemet er integrert med et parallelt studentprosjekt med base i Oslo som har utviklet en prototype til et verktøy som henter opplastet data, og gjør det mulig for en operatør å kontrollere resultatet og utføre nødvendig redigering.

Modern machine learning methods provides the possibility to have machines perform tasks that can be tedious and time consuming for humans, or to analyze large amounts of data that would not be feasible for humans to process. This thesis presents a prototype system that utilizes machine learning to detect traffic signs in image data, classify the detected traffic signs, and approximate their geolocation using LIDAR data. The YOLOv5 machine learning model for object detection is chosen from several candidates, based on both correct detection performance and possibility for integration in the larger system. A model for classification is constructed using the Tensorflow library in Python, and is based on literature about previous models used for similar tasks. A pinhole camera projection method for determining the geolocation of the detected objects using LIDAR data is proposed and integrated into the prototype. Alternative methods for approximating the geolocation of objects are also discussed. The prototype is a containerized system, which provides a simple web application where an operator can initialize the process of detection, classification and geopositioning on a set of data corresponding to a stretch of road. The system returns a JSON object containing all detected objects, which can be further inspected by the operator and uploaded to a database, along with original images and cropped traffic sign images. The system is integrated with a parallel student project based in Oslo that has developed a prototype for a tool that retrieves this data and makes it possible for an operator to control and make necessary edits.