Pose Estimation of Shipping Container with PnP and DeepLearning
Master thesis
Permanent lenke
https://hdl.handle.net/11250/2788804Utgivelsesdato
2021Metadata
Vis full innførselSamlinger
Sammendrag
Denne rapporten fokuserer på hyppig positur- og avstandsmåling av last i offshoremiljø for å utvikle et offshore autonomt kranløftesystem. Rapporten diskutereregnetheten for bruk av ulike type sensorer for denne problemstillingen, deriblant 3Dkamera som baseres på strukturert lys, 2D camera og laser teknologi. Tilslutt, såble det foreslått bruk av 2D digital kamera og Perspective-n-points ved hjelp av dyplæring og hjørne detektor for å gjenkjenne karakteristiske trekk for å kunne måleavstand til last.Det ble utført et eksperiment ved å hyppig regne ut orientering og avstand på enliten modell av en shipping container. Systemet ble utført med en translasjonsfeilmellom 8 mm og opptil 15 mm under dette eksperimentet og en orienteringsfeil på0,14 grader, beskrevet ut ifra Euler-vinkler. I tillegg til systemets potensial ble detogså løst noen problemer med støy.Eksempler på at dyp læring- og hjørnedetektorkombinasjon var utsatt for støy varnår dyp læringssmodellen ikke returnerte en presis segmentering av objektet. Enovertilpasset Mask R-CNN-modell ble trent til å teste systemet i omstendighet dersegmenteringen var godt trent på. I løpet av videotesten var systemet i de flestetilfeller i stand til å finne punkt korrespondanser mellom 3D punkter og pixel koordinatene i bildet.Videre ble det foreslått forskjellige metoder for å forbedre systemet. Metodene forvidere arbeid innebærer løsninger for å gjøre systemet mer nøyaktig, raskere og merrobust mot støy.Å bruke høyere bildeoppløsning ble bevist gjennom testing for å gjøre systemet mernøyaktig. Det er foreslått å kombinere dette med en ny sanntids segmenteringsmodell YOLACT++ (33.5fps) for å gjøre modellen mer nøyaktig, men også raskere.Metoder for å filtrere ut støy ble foreslått for å gjøre det nåværende systemet merrobust. Løsninger som optisk strømning eller firkantet montering ble nevnt. Detvirker som om systemet i denne rapporten er lovende for hyppig måling av orientering og posisjon av rektangeloverflater, og med oppgraderinger har den potensialettil å bli et sanntids sporingssystem med error ≤ 10mm, inkludert støyfiltre. The report focuses on tracking cargo in offshore environments to develop an offshoreautonomous crane lift system. The report discusses the suitability of different sensorsolutions, such as implementing a 3D camera with structured light, 2D cameraand laser technology. Finally, it was proposed to use a 2D digital camera withPerspective-n-points using deep learning as a feature extractor in conjunction witha corner detector for cargo tracking.The experiment of tracking and calculating pose automatically was implementedon a small-scale model of a shipping container. The experiment performed with atranslational error between 8 mm and up to 15 mm during this experiment and errorof 0.14 degrees, describe in Euler angles. Along with the potential of the system,some problems with noisy features were addressed.The instance segmentation and corner detector combination were prone to noise ifthe instance segmentation model did not return a precise mask prediction. A newoverfitted Mask R-CNN model was trained to test the system in a circumstancewhere the mask prediction was precise. During the video test, it was able to findimage point correspondences in most cases, with exceptions in some frames.Further, different methods of improving the system was proposed. The proposemethods for further work entails solutions to make the system more accurate, fasterand more robust against noise.Upgrading the instance segmentation network. Combining a faster instance segmentation model YOLACT++ (33.5 fps) with higher image resolution was provedthrough testing to make the system more accurate and lower time delay. Methods offiltering out the noisy features were proposed to make the current system more robust. Solutions such as optical flow or quadrilateral fitting were mentioned. It seemslike this solution is promising for tracking planar, rectangle surfaces are promising,and with upgrades it have the potential to become a real-time tracking system witherror ≤ 10 mm, with noise filters.