Camera Relocalization for Augmented Reality Applications using Machine Learning

Abstract

Augmented Reality-applikasjoner har blomstrende spesielt siden smarttelefoner har blitt så kraftige, og behovet for effektive, raske og robuste lokaliseringsalgoritmer har vokst med det. I dette masteroppgavearbeidet takler vi to vanlige problemer som kan forhindre demokratisering av slik teknologi: tap av sporing kan vare flere sekunder før det blir løst, noe som bryter brukerens nedsenking, og noen Augmented Reality-scenarier blir utfordret av mangelen på detaljer i den virkelige verden for å lokalisere kamerasystemet effektivt. Derfor foreslår vi først fusjon av en topp moderne maskinlæringsbasert relokaliseringsmetode med det allerede meget robuste HoloLens-lokaliseringssystemet, for å forbedre relokaliseringstidene når sporing går tapt. Deretter presenterer vi en ny tilnærming for kameralokalisering som utnytter både punkt- og linjefunksjoner for å lage en nøyaktig, robust og dynamisk omlokaliseringsalgoritme avhengig av Adaptive Random Forest. Vi demonstrerer at metoden vår overgår mye med en lignende poengbeskyttet metode i både detaljerte og teksturløse scener, mens vi fortsatt opprettholder sanntidsprestasjoner. Vi planlegger også å utføre ytterligere eksperimenter på offentlig tilgjengelige datasett for å sammenligne resultatene våre med de moderne kameralokaliseringsmetodene.

Augmented Reality applications have been booming especially since smartphones have become ever so powerful, and the need for efficient, fast and robust localization algorithms has grown with it. In this Master Thesis work, we tackle two common problems that can prevent the democratization of such technology: loss of tracking can last several seconds before being resolved which breaks the user immersion, and some Augmented Reality scenarios are challenged by the lack of detail in the real world to efficiently localize the camera system. Hence, we propose at first the fusion of a state-of-the-art machine learning based relocalization method with the already very robust HoloLens localization system, to improve on relocalization times when the tracking is lost. Then, we present a new approach for camera relocalization capitalizing on both point and line features to create an accurate, robust and dynamic relocalization algorithm relying on Adaptive Random Forest. We demonstrate that our method outperforms by a great margin a similar point-only method in both detailed and textureless scenes while still maintaining real-time performances. We also plan to run further experiments on publicly available datasets to compare our results against the state-of-the-art camera relocalization methods.