Utilizing VR for Point Cloud Labeling

Abstract

Autonome kjøretøy trenger en god forståelse av verden for å trygt kunne navigere dynamiske miljøer. En sensor for å skaffe slik data er LiDAR, som har veldig bra ytelse i alle forhold. Et supervised nevralt nettverk trenger enorme mengder treningsdata for å lære semantiske visuelle signaler for å forstå verden. Men, det å lage slik høypresisjons data er både tidkrevende og kostbart. Ved å ikke tilby slik data kan misklassifiseringer bli lært av den endelige modellen, noe som vil redusere modellens presisjon. Videre er det å lage treningsdata en flaskehals i data drevet kunstig intelligens.

Denne oppgaven presenterer en applikasjon kalt PCLabel.VR. PCLabel.VR lar en bruker enkelt navigere en punktsky og klassifisere individuelle punkter med en klassifiseringssfære. Ved å kjøre klassifisering på grafikkortet, støttes sanntidsklassifisering av over 10 millioner punkter. Denne oppgaven undersøker om det å bruke VR for punktsky navigasjon og klassifisering gjør prosessen raskere, da VR gir både immersjon og en forbedret oppfatning av visuell dybde.

For å kunne undersøke dette ble det gjennomført to forsøk. Først ble 8 forsøkspersoner introdusert til PCLabel.VR, og de ble deretter instruert til å lokalisere 4 misklassifiseringer. Det ble målt hvor lang tid hver bruker brukte på denne oppgaven. Det samme eksperimentet ble deretter gjennomført i programmet Cloudcompare som har åpen kildekode. Etterpå ble et utvidet SUS spørreskjema gitt til forsøkspersonene. Alle forsøkspersonene lokaliserte misklassifiseringer raskere i PCLabel.VR enn i Cloudcompare, flere med stor margin. PCLabel.VR fikk en SUS score på 76.25, hvor 68 er over gjennomsnittet. Basert på resultatene fra spørreskjemaet og sammenligningen med en desktop applikasjon blir det argumentert for at det er lettere å navigere og forstå en kompleks punktsky i et VR-miljø enn i et desktop miljø. Flere brukertester er nødvendig for å for å evaluere om klassifisering er enklere i VR, men resultatene fra spørreskjemaet indikerer at forsøkspersonene syntes at det var enkelt å klassifisere i VR.

Autonomous vehicles need a solid understanding of the world for safely navigating dynamic environments. One sensor for obtaining such data is the LiDAR, which has unparalleled performance in all conditions. Supervised neural networks need massive amounts of training data to learn semantic visual cues for scene understanding. However, creating such high-fidelity training data is both time-consuming and costly. Failing to provide such data can make erroneous classifications propagate to the final model, which will reduce accuracy. Furthermore, creating enough training data is a significant bottleneck in data-driven AI.

This thesis presents a novel VR application called PCLabel.VR. PCLabel.VR allows users to easily navigate a point cloud and label individual points using a label sphere. By offloading labeling to the GPU, it supports real-time labeling of point clouds with over 10 million points. This thesis examines whether utilizing VR for point cloud navigation and labeling makes the process faster, as VR provides both immersion and enhanced perception of visual depth.

In order to investigate this, two experiments were performed. First, 8 participants were introduced to PCLabel.VR, and were instructed to localise 4 misclassifications in a point cloud while being timed. The same experiment was then performed in the open-source desktop application Cloudcompare. Afterward, an extended SUS questionnaire was presented to the users. All participants localized the misclassifications faster in PCLabel.VR than in Cloudcompare, many by a large margin. PCLabel.VR got a SUS score of 76.25, with 68 being above average. Based on the questionnaire and the comparison with a desktop application, it is argued that it is easier to navigate and understand a complex point cloud in a VR environment than in a desktop environment. More user tests are needed to evaluate whether labeling is easier in VR, but results from the questionnaire indicate that users found it easy to label in PCLabel.VR.