A Distortion-resilient Pattern Codification Strategy For Structured Light 3D Cameras

Abstract

Roboter finnes overalt i dagens moderne industrier, og deres bruksområder inkluderer alt fra å løfte kargo av paller til å sette sammen forbrukervarer. Dessverre er de aller fleste roboter blinde, og dette begrenser deres bruksområder betraktelig. Ved å ta i bruk 3D-kameraer kan man bruke roboter i nye og mer utfordrende sammenhenger. Zivid AS er et selskap som spesialiserer seg i å lage slike kameraer, og teknikken som kameraene bruker kalles for strukturert lys. Selv om denne teknikken gir høy nøyaktighet, yter den ofte dårlig i miljøer som inneholder sterkt reflektive objekter som gir opphav til såkalte interrefleksjoner. Med tanke på at de fleste forbrukervarene er pakket inn i reflektiv plast og at mange industrielle deler er laget av reflektive metaller, er dette et hinder mot å øke bruken av 3D-kameraer.

Denne oppgaven presenterer en ny signalbehandlingskjede for systemer som bruker strukturert lys for å gjøre dem mer tolerante mot reflektive objekter, uten å gå på bekostning av deres ytelse. Signalbehandlingskjeden består av både en geometrisk beskrankning og en ny mønster-kodifiseringsstrategi. Beskrankningen utnytter en restriksjon for gyldige løsninger sett fra kameraet, og gjør signalbehandlingen både raskere og mer pålitelig når interrefleksjoner er tilstede. Mønster-kodifiseringsstrategien er en ny måte å kode strukturert lys. Den er basert på kombinasjonen av følger med gode korrelasjonsegenskaper og temporale tilfeldig omstokkede cosinus-bølger som demper forstyrrelsene fra reflektive objekter.

Denne nye mønster-kodifiseringsstrategien yter bedre enn dagens standard (GCPS) når den testes på scener med mange reflektive gjenstander. Mer enn 70% av kamerapikslene har residualer innenfor målet på 0.1%, sammenliknet med 60% for GCPS. Residualene er i tillegg spredt jevnt over hele kameraet, istedenfor å være sentrert rundt kantene på objekter, noe som kan være nyttig for applikasjoner. Teknikken yter verre på korte avstander, og det er foreslått at dette kan være forårsaket av dårlig valgte parametre for disse avstandene.

En svakhet ved denne mønster-kodifiseringsstrategien er at den lider av periodiske systematiske feil, og disse bidrar til omlag 50% av residualene i scener med mange interrefleksjoner. Flere forbedringer for å redusere disse feilene er foreslått. I tillegg lider også teknikken av en 4.1 ganger lengre bildetakingstid sammenliknet med dagens standard, og en ukjent høyere utregningskompleksitet. Dette er egenskaper som potensielt kan hindre bruken av mønster-kodifiseringsstrategien for mange bruksområder, og må tas i betraktning.

In today's modern industries, robots are ubiquitous. Their applications range from lifting cargo off pallets to assembling consumer products. Unfortunately, most robots are blind, significantly restricting their use cases. The introduction of 3D cameras makes robots able to work in new and more challenging environments. Zivid AS is a company that specializes in making such cameras, and their cameras utilize structured light. Although the technique offers great accuracy, it struggles in environments that contain highly reflective objects giving rise to so-called interreflections. Considering that most consumer products are wrapped in reflective plastic and that many industrial parts are made of reflective metals, this poses a challenge to increase the utilization of 3D camera systems.

This thesis introduces a new signal processing chain for structured light systems to make them more resilient to reflective objects, without degrading the systems' performance. The processing chain consists of both a geometric constraint and a novel pattern codification strategy. The constraint exploits a restriction on the valid solutions seen by the camera, which makes signal processing faster and more reliable in the presence of interreflections. The pattern codification strategy is a new way to code structured light. It is based on the combination of sequences with good correlation properties and temporally randomly shuffled cosines which whiten out the distortions from shiny objects.

When tested in the presence of multiple shiny objects, the novel pattern codification strategy performs better than the state-of-the-art (GCPS). More than 70% of the camera pixels have residuals within the desired 0.1% target, compared to 60% for GCPS. Moreover, the residuals are spread evenly over the entire camera, instead of being centered around the edges of objects, which could be useful for applications. The codification strategy performs worse at close distances, and it is suggested that it could be caused by an incorrect choice of parameters for these distances.

A limitation of the pattern codification strategy is that it suffers from periodic systematic errors, and these contribute to approximately 50% of the residuals in scenes with a lot of interreflections. Several improvements are suggested, which could reduce these errors. Nevertheless, the codification strategy also suffers from an acquisition time 4.1 times longer compared to the state-of-the-art and an unknown higher computational complexity. This could for many use-cases be a deal breaker and should be taken into consideration.