Exploiting Lidar Imaging for Robot Perception and Place Recognition

Abstract

I de senere årene har lidarteknologi gjort store fremskritt, som har resultert i stadig høyere punktskyoppløsning. I tillegg til å kunne måle avstanden til objekter, så kan mange høykvalitetslidarer også måle intensiteten i reflekterte signaler. Noen lidarer har også mulighet til å måle omgivelsesbelysningen i et område. Dette gjør at lidaren kan brukes som et 360° kamera, men med en relativt begrenset oppløsning sammenlignet med hva man kan forvente av et vanlig kamera. Nyere forskning har vist lovende resultater i å kunstig øke oppløsningen til et bilde ved hjelp av metoder basert på dyp læring. Motivert av dette, har denne masteroppgaven utforsket om det er mulig å kunstig øke oppløsningen til lidarbilder ved hjelp av slike metoder, som er kjent som superoppløsningsmetoder.

I tillegg til dette, har det blitt undersøkt om lidarintensitetsbilder og lidaromgivelsesbelysningsbilder kan brukes sammen for visuell plassgjenkjennelse ved hjelp av en sekk-med-ord-basert metode. For å samle inn sensordata til å teste metodene, har en håndholdt multimodal sensorplattform blitt bygget. Oppgaven dokumenterer dermed også utviklingsprosessen for denne håndholdte sensorplattformen, som kan bli nyttig for fremtidig forskning innen robotpersepsjon.

Resultatene av å bruke lidaromgivelsesbelysningsbilder og lidarintensitetsbilder for visuell plassgjenkjenning i urbane områder er lovende, selv når man kommer tilbake til samme område i motsatt retning av den man opprinnelig kom fra og når systemet opererer over lengre tid. Resultatene av å bruke superoppløsningsmetoder på ekte lidarbilder gir rimelige resultater for avstandsbilder, men fungerte ikke like godt på lidarintensitetsbilder og lidaromgivelsesbelysningsbilder. Dette er sannsynligvis en konsekvens av at lidarbildene inneholder mye støy.

Som en mulig vei videre for å forbedre superoppløsningsresultatene, har det blitt foreslått en pipeline som kan lage realistiske lidarbilder med vilkårlig oppløsning basert på flere punktskyer, men med mindre bildestøy. Målet med denne pipelinen er å kunne lage et bedre lidarbildedatasett, som kan brukes til å trene et forbedret nevralt nettverk for å oppskalere lidarbilder. Resultatene fra denne lidarbildegenerende pipelinen er lovende for lidarintensitetsbilder og kan potensielt brukes til å trene et forbedret superoppløsningsnettverk for lidarintensitetsbilder i fremtiden.

In recent years, lidars have seen major technological improvements to deliver ever-increasing point cloud resolution. In addition to the capability of measuring range to objects in the scene, most high-end lidars also output the intensity in the reflected signal. Some lidars can also measure the ambient lighting from the environment. This enables the lidar to act as a 360° imaging sensor, though at a relatively low resolution compared to what can be expected by a normal camera. Recent research has showed promising results in artificially increasing the resolution of an image by deep learning-based methods. Motivated by this, the work in this thesis has explored if it is possible to increase the apparent resolution of real lidar images by applying such methods, which are known as super resolution methods.

Additionally, it has been studied if the intensity and ambient lidar images can be used in combination for visual place recognition by a bag-of-words-based method. To facilitate the collection of real sensor data, a handheld multi-modal sensor rig has been built. The thesis therefore also serves as documentation for the development process of this sensor rig, which will likely be useful for future research within robotic perception.

The results of using ambient and intensity lidar images for place recognition in urban environments are promising, even during reverse revisits and when operating over extended periods of time. The results of applying super resolution methods on real lidar images seems to give reasonable results for range images, though extending it to intensity and ambient images proved to be less effective, which is likely a result of a high degree of noise present in the images.

As a possible way forward to improve the super resolution results, a pipeline has been proposed that can generate realistic looking lidar images with arbitrary resolution based on multiple point clouds, but with lower image noise. The aim for this pipeline is to generate a better lidar image dataset, which can be used to train an improved neural network for the lidar image super resolution problem. The results from testing the image generation pipeline shows promising results for lidar intensity images, which potentially can be used to train a more effective intensity super resolution network in the future.