Pose Estimation of Shipping Container with PnP and DeepLearning

Abstract

Denne rapporten fokuserer på hyppig positur- og avstandsmåling av last i offshore miljø for å utvikle et offshore autonomt kranløftesystem. Rapporten diskuterer egnetheten for bruk av ulike type sensorer for denne problemstillingen, deriblant 3D kamera som baseres på strukturert lys, 2D camera og laser teknologi. Tilslutt, så ble det foreslått bruk av 2D digital kamera og Perspective-n-points ved hjelp av dyp læring og hjørne detektor for å gjenkjenne karakteristiske trekk for å kunne måle avstand til last. Det ble utført et eksperiment ved å hyppig regne ut orientering og avstand på en liten modell av en shipping container. Systemet ble utført med en translasjonsfeil mellom 8 mm og opptil 15 mm under dette eksperimentet og en orienteringsfeil på 0,14 grader, beskrevet ut ifra Euler-vinkler. I tillegg til systemets potensial ble det også løst noen problemer med støy. Eksempler på at dyp læring- og hjørnedetektorkombinasjon var utsatt for støy var når dyp læringssmodellen ikke returnerte en presis segmentering av objektet. En overtilpasset Mask R-CNN-modell ble trent til å teste systemet i omstendighet der segmenteringen var godt trent på. I løpet av videotesten var systemet i de fleste tilfeller i stand til å finne punkt korrespondanser mellom 3D punkter og pixel koordinatene i bildet. Videre ble det foreslått forskjellige metoder for å forbedre systemet. Metodene for videre arbeid innebærer løsninger for å gjøre systemet mer nøyaktig, raskere og mer robust mot støy. Å bruke høyere bildeoppløsning ble bevist gjennom testing for å gjøre systemet mer nøyaktig. Det er foreslått å kombinere dette med en ny sanntids segmenteringsmodell YOLACT++ (33.5fps) for å gjøre modellen mer nøyaktig, men også raskere. Metoder for å filtrere ut støy ble foreslått for å gjøre det nåværende systemet mer robust. Løsninger som optisk strømning eller firkantet montering ble nevnt. Det virker som om systemet i denne rapporten er lovende for hyppig måling av orientering og posisjon av rektangeloverflater, og med oppgraderinger har den potensialet til å bli et sanntids sporingssystem med error ≤ 10mm, inkludert støyfiltre.

The report focuses on tracking cargo in offshore environments to develop an offshore autonomous crane lift system. The report discusses the suitability of different sensor solutions, such as implementing a 3D camera with structured light, 2D camera and laser technology. Finally, it was proposed to use a 2D digital camera with Perspective-n-points using deep learning as a feature extractor in conjunction with a corner detector for cargo tracking. The experiment of tracking and calculating pose automatically was implemented on a small-scale model of a shipping container. The experiment performed with a translational error between 8 mm and up to 15 mm during this experiment and error of 0.14 degrees, describe in Euler angles. Along with the potential of the system, some problems with noisy features were addressed. The instance segmentation and corner detector combination were prone to noise if the instance segmentation model did not return a precise mask prediction. A new overfitted Mask R-CNN model was trained to test the system in a circumstance where the mask prediction was precise. During the video test, it was able to find image point correspondences in most cases, with exceptions in some frames. Further, different methods of improving the system was proposed. The propose methods for further work entails solutions to make the system more accurate, faster and more robust against noise. Upgrading the instance segmentation network. Combining a faster instance segmentation model YOLACT++ (33.5 fps) with higher image resolution was proved through testing to make the system more accurate and lower time delay. Methods of filtering out the noisy features were proposed to make the current system more robust. Solutions such as optical flow or quadrilateral fitting were mentioned. It seems like this solution is promising for tracking planar, rectangle surfaces are promising, and with upgrades it have the potential to become a real-time tracking system with error ≤ 10 mm, with noise filters.