Point Pair Feature based Object Detection and Localization with 3D Camera

Abstract

Objektdeteksjon og lokalisering er en hovedteknologi som utgjør en viktig del for nåværende og fremtidige robotikkanvendelser, innen manipulering, griping og inspeksjonsoppgaver. Med den nyeste utviklingen innen 3D-syn og kameraer, har metoder basert på dybde- og RGB-D bildedata vist lovende resultater med høy deteksjonsrate og raske kjøretider. I denne oppgaven blir algoritmer basert på Point Pair Features (PPF) studert og utviklet for fri form 3D objektgjenkjenning og 6 DoF-lokalisering fra punktskyer tatt av 3D-kameraer. Disse algoritmene er basert på et avstemningsystem som tar i bruk en fire-dimensjonal deskriptor definert ved et punktpar med orienterte normaler for å beskrive overflaten av objektet og scenen. Hovedfokuset i denne oppgaven er å forbedre disse metodene for bedre gjenkjenning av flate objekter. Ved hjelp av C++-basert programvare ble en implementasjon av standard PPF-algoritmen, basert på tidligere metoder, utviklet og integrert i et interaktivt grafisk brukergrensesnitt (GUI) ved hjelp av Qt. Videre ble algoritmen modifisert til to variasjoner som benytter kant informasjon, og en vektet PPF variant for bedre deteksjon av flate objekter. Ytterligere funksjoner for å forbedre deteksjonsraten og prosesseringshastigheten er også implementert og integrert i algoritmene. Algoritmene er deretter evaluert på industrielle teksturfrie objekter fra offentlige datasett og egne scener, tatt med Zivid One 3D-kameraet. Blant de fire algoritmene, har den vektede PPF-varianten i gjennomsnitt vist best resultater for begge datasettene. De kantbaserte algoritmene ga også gode resultater for Zivid-datasettet, der den både fikk bedre deteksjonsrate og hastighet enn standard PPF-algoritmen, men den hadde noen praktiske begrensninger og ulemper for unøyaktige dybdemålinger ved kanter og visse typer objekter. For å konkludere har eksperimentene og evalueringene vist lovende resultater, med gode gjenkjenningsrater og nøyaktighet. Anbefalinger for ytterligere forbedring av de kantbaserte metodene og generell forbedring av deteksjonsratene er foreslått for fremtidig arbeid.

Object detection and localization is a key technology that plays a crucial part in current and future robotic applications in manipulation, grasping, and inspections tasks. With the recent development of 3D-vision and cameras, methods based on depth and RGB-D image data have shown promising results with high detection rates, and fast running times. In this thesis, algorithms based on Point Pair Features (PPF) are studied and developed for free form 3D object detection and 6 Degree of Freedom (DoF) pose estimation from scene point clouds captured by 3D cameras. These algorithms are based on a voting scheme that relies on a four-dimensional feature defined by a pair of points with oriented normals to describe the surface of the object and scene. The main focus of this thesis is to improve upon these methods for better detection of planar objects. Based on earlier methods, an implementation of the standard PPF algorithm was developed using C++ based software and integrated into an interactive Graphical User Interface (GUI) using Qt. The algorithm was then further modified to two variations that utilize boundary and edge information, and a weighted PPF variant with the aim of better detection of planar objects. Additional improvements to further improve detection rates and decrease computational cost are also implemented and integrated with the modified algorithms. The algorithms are then evaluated on industrial texture-less objects from a publicly available dataset and self-captured scenes taken with the Zivid One 3D-camera. Among the four algorithms, the weighted variant showed on average the best performance for both datasets. The boundary based algorithm also performed well for the Zivid captured scenes, outperforming the standard PPF method both in terms of detection rate and processing speed, but had some practical limitations and drawbacks for inaccurate depth measurements at edges and certain types of objects. In conclusion, the experiments and evaluations have shown promising results in achieving high detection rates and accuracy, and recommendations to further improve the boundary based methods and detection rates are suggested for future work.