ALPACA: Asphalt Quality Prediction with Automated Computer Vision Assessment

Abstract

Veier kan bli utsatt for diverse skader som sprekker og hull, og en ujevn overflate er en potensiell fare for kjøretøyer. Manuell veikontroll kan være tidkrevende, farlig grunnet trafikk og vær, subjektiv og avhengig av erfaring. Denne oppgaven tar sikte på å hjelpe vedlikeholdere av veier med å utføre forebyggende vedlikehold.

Vi har bygget en pipeline for prediksjon av asfaltkvalitet ved hjelp av automatisert datasynsvurdering, kalt ALPACA-pipelinen, som bruker tidsserieprognoser for å forutsi fremtidige tilstander for asfaltskader fra smarttelefonvideoer av veier i Trondheim. ALPACA-pipelinen er i stand til å kjøre på en konvensjonell 8 GB GPU, noe som gjør denne teknologien tilgjengelig på lave budsjetter. Videre har vi bygget et annotert datasett for objektdeteksjon av asfaltskader i urbane miljøer, som inneholder utfordrende sesong- og lysvariasjoner, samt et annotert datasett for semantisk segmentering av asfaltskader i smarttelefonbilder. Til slutt presenterer vi eksperimentelle resultater som evaluerer hvert trinn i pipelinen. Til tross for at pipelinen vår er langt fra klar til å brukes i reelle settinger, gir arbeidet vårt en viss innsikt i hvordan ulike datasyn-, bildebehandling- og tidsserieprognosemetoder kan integreres for å forutsi asfaltkvalitet fra smarttelefonvideoer og bilder.

Roads are susceptible to pavement distress including cracks and potholes, and an uneven surface is a potential hazard to vehicles. Manual road inspection has the disadvantage of being time-consuming, hazardous due to traffic and weather, subjective and dependent on the experience of the personnel. This thesis aims to assist road maintainers in prioritising interventions and performing preventive maintenance.

We propose a pipeline for asphalt quality prediction with automated computer vision assessment, called the ALPACA pipeline, which uses time series forecasting to predict future states of pavement distress from smartphone videos of roads in Trondheim. The ALPACA pipeline is able to run on a conventional 8GB GPU, making this technology accessible on limited budgets. Furthermore, we build an annotated dataset for object detection of pavement distress in urban environments containing challenging seasonal and lightning variations, as well as an annotated dataset for semantic segmentation of pavement distress in smartphone images. Finally, we present experimental results evaluating each stage of our pipeline. Despite our pipeline being far from ready to be used in a real setting, our work offers some insight into how various computer vision, image processing and time series forecasting methods can be integrated to forecast pavement quality from smartphone videos or images.