Investigating Monocular Depth Estimation for UAV Navigation and Localization

Abstract

I løpet av siste årene har ubemannede luftfartøyer (UAVer) blitt stadig mer tatt i bruk for private, militære og industrielle formål, spesielt innen inspeksjon og observasjon. For å kunne gjøre dette kreves det at dronen kjenner egen posisjon, samt plasseringen av observerte objekter. Målet med denne masteroppgaven er å undersøke en alternativ metode for dronenavigasjon og lokalisering uten bruk av GPS.

Droner bruker vanligvis satelitter for navigasjon, men av og til har man høyere krav til nøyaktighet som ikke kan oppfylles uten å bruke dyrt RTK-utstyr. I tillegg er avhengighet av GPS en risiko, siden ondsinnede aktører kan utnytte satelittjamming for å stoppe dronene. Disse problemene nødvendiggjør lokaliseringsmetoder som er pålitelige og nøyaktige uten GPS. Mens visuelle lokaliseringsmetoder kan gi presise lokaliseringsestimater, har de problemer i områder med få særegne landemerker. I tillegg er det også høye krav til databasen som brukes, for eksempel innen alder, belysning, årstider, visningsvinkel, som kan være arbeidskrevende å oppfylle. For å løse disse problemene foreslår vi en rent 3D-modell-basert metode for lokalisering, som ikke er avhengig av bilde-features eller farger. Denne metoden vil ikke bare kunne gi nøyaktig navigasjon og lokalisering dersom det virker, men også muliggjøre effektiv og presis geolokalisering av observerte områder.

Metoden vi foreslår innebærer å bruke monokulær dybdeestimering kombinert med punktskyregistrering for å plassere dronen i en 3D-modell av området. Gitt de store framskrittene innen dyp-læring for dybdeestimering de siste årene så virker det som om vi har et enormt potensial for å bruke dette innen drone-navigasjon og geolokalisering. Siden vi ser svært lite forskning som fokuserer på denne bruken av KI-basert dybdeestimering, ønsker vi å begynne å undersøke effektiviteten til denne metoden.

For å forbedre en effektiv selvledet dybdeestimering-modell, legger vi inn og trener flere toppmoderne dybdeestimeringsnettverk med vårt UAV-datasett. Etter vi velger ut den beste modellen, prøver vi ICP-punktskymatching, både for å estimere dronebevegelser så vel som lokalisering innen 3D-modellen av området. Resultatene våre viser utfordringene med dybdeestimering fra UAV-er, samt problemer med lokalisering innenfor utdaterte og detaljfattige databaserepresentasjoner av et område.

In recent years, Unmanned Aerial Vehicles (UAVs) have become increasingly prominent for private, military, and industrial purposes, particularly in the areas of inspection and observation. To do this, it is required that the drone knows its position, as well as the location of observed objects. The objective of this thesis is to investigate an alternate method of drone navigation and localization without the use of GNSS.

Generally, drones require the help of satellite signals for navigation, but certain applications have higher accuracy requirements that cannot be met without the use of additional expensive RTK equipment. Furthermore, reliance on GNSS makes drones susceptible to interference from malicious actors who can disrupt satellite signals. These problems emphasize the necessity for localization methods that are dependable and accurate without external support. While visual localization methods have demonstrated high precision within localization, they face challenges in areas with few distinctive landmarks. Additionally, there are also high demands of the age, lighting, viewing angles, and season of the database to localize within, which poses a challenge for their use. To address these issues, we propose a purely 3D-model based method of localization, which does not rely on feature descriptors or even color. This method could not only enable accurate navigation but also facilitate effective and precise geolocalization of objects captured by the camera.

The method we propose involves employing monocular depth estimation coupled with point cloud registration to situate the drone within a 3D-model of the area accurately. Given the extensive research on deep-learning depth estimation in recent years, there may be a vast untapped potential for drone navigation and geo-localization of drone observations. As we see very little research focusing on this use case for MDE, we want to start investigating their effectiveness.

Improving on an effective self-supervised MDE model, we embed and train multiple state-of-the-art depth estimation networks on our own UAV dataset consisting of forested environments. Choosing the strongest performer, we attempt ICP point cloud matching, both for estimating drone motion as well as localization within the 3D-model of the area. Our results show the challenges of depth estimation from UAVs in non-urban environments, as well as problems of localization within imperfect database representations of an area.