High-Precision Road Health Monitoring: AI Solutions on Mobile Devices

Abstract

Ettersom veinettet danner grunnlaget for moderne transport, er det avgjørende at det vedlikeholdes godt. Idag overvåkes veistandarden ved hjelp av spesialkjøretøy utstyrt med LiDAR-skannere, en prosess som er tidkrevende, kostbar og miljøskadelig grunnet behovet for å kjøre utelukkende for datainnsamling. Med store fremskritt innen kunstig intelligens (KI) og objektdeteksjon, kombinert med forbedret i maskinvare i mobiltelefoner, kan objektdeteksjon utført på mobiltelefoner forbedre effektiviteten og redusere kostnadene ved inspeksjon av veibanen.

Denne masteroppgaven har som mål å avgjøre om det er mulig å utføre deteksjoner av veiskader i sanntid ved hjelp av mobiltelefoner. Dette innebærer å identifisere de best egnede modellene, trene dem og teste dem i en mobilapplikasjon som muliggjøre objektdeteksjon i sanntid.

For å oppnå målet, ble de beste modellene innen objektdeteksjon identifisert, og et passende datasett ble valgt. Flere eksperimenter med trening av modeller ble utført, hvor modifiseringer og utvidelseer av datasettet ble testet. Utvidelser ble gjort ved selvutviklet annoteringsapplikasjon, som utvider datasettet ved KI-assistert annotering på insamlet data. Arbeidet hadde som mål å identifisere den beste modellen med tanke på hastighet og treffsikkerhet. Det ble utviklet en mobilapplikasjon med funksjonalitet for sanntidsdeteksjon av veiskader og innsamling av veidata for utvidelser av datasetet. Applikasjonen ble brukt til å teste de beste modellene på en kraftig mobiltelefon. Modellene ble evaluert med tanke på hastighet og teffsikkerhet. Mobilapplikasjonen inkluderer tilkobling til en GNSS-mottaker som tilbyr høy presisjon for posisjonene til deteksjonene som blir gjort.

Basert på resultatene, er sanntidsdeteksjon av veiskader ennå ikke mulig med den nåværende maskinvaren til moderne mobiltelefoner. Dagens toppmodeller for objektdeteksjon oppnår tilfredsstillende treffsikkerhet, men den reduseres når man reduserer modellstørrelsen og granulariteten til input for å oppnå sanntidshastighet. Når man analyserer avveiningen mellom hastighet og treffsikkerhet, er YOLOv8-n på bildestørrelse 736 best egnet for mobiltelefoner. Andre resultater innebærer utviklingen av to applikasjoner: en mobilapplikasjon for sanntidsdeteksjon av veiskader og innsamling av ny treningsdata, og en annoteringsapplikasjon som muliggjør KI-assistert automatisk annotering av innsamlede data.

As the road system lies the foundation of modern transportation, it is vital that it is well maintained. Currently, the identification of road conditions is performed using specialized vehicles equipped with LiDAR scanners. This process is time-consuming, expensive, and environmentally harmful due to the need to drive vehicles solely for data collection. With the recent developments in artificial intelligence (AI) and object detection, combined with hardware improvements of mobile phones, object detection performed on edge devices stands out as an possible solution to improve efficiency and reduce costs.

This thesis aims to determine if it is possible to perform real-time road crack detection utilizing high-end mobile phones. This includes identifying the best suitable models for the task, training them and deploy them to a mobile application. The mobile application should facilitate for object detection in real-time.

To achieve the goals of this thesis, state-of-the-art models in object detection were identified, and a suitable dataset was selected. Several experiments were conducted, modifying and extending the dataset using a custom annotation application for desktop with AI-assisted auto-labeling capabilities. The experiments aimed to identify the best model in terms of speed and accuracy. A mobile application was developed with functionality for real-time crack detection and road data collection to extend the dataset. This application was used to test the top-performing models on a high-end mobile phone, evaluating their speed and accuracy on the provided hardware. The mobile application includes a connection to a GNSS receiver, offering high accuracy for positions of detections.

Based on the results of the experiments, real-time crack detection is not yet feasible with the current hardware of modern mobile phones. The state-of-the-art object detection models achieve satisfactory accuracy; however, reducing model size and input granularity to achieve real-time speed diminishes their accuracy. When analyzing the trade-off between speed and accuracy, the best-suited model for mobile phone performance is YOLOv8-n with an image size of 736. Additionally, this thesis produced two applications: a mobile application for real-time crack detection and the collection of new training data, and a desktop annotation application facilitating AI-assisted auto-labeling of the collected data.