dc.contributor.advisor | Egeland, Olav | |
dc.contributor.author | Helle, Martin Mjølhus | |
dc.date.accessioned | 2021-10-08T17:19:38Z | |
dc.date.available | 2021-10-08T17:19:38Z | |
dc.date.issued | 2021 | |
dc.identifier | no.ntnu:inspera:78072783:47626612 | |
dc.identifier.uri | https://hdl.handle.net/11250/2788804 | |
dc.description.abstract | Denne rapporten fokuserer på hyppig positur- og avstandsmåling av last i offshore
miljø for å utvikle et offshore autonomt kranløftesystem. Rapporten diskuterer
egnetheten for bruk av ulike type sensorer for denne problemstillingen, deriblant 3D
kamera som baseres på strukturert lys, 2D camera og laser teknologi. Tilslutt, så
ble det foreslått bruk av 2D digital kamera og Perspective-n-points ved hjelp av dyp
læring og hjørne detektor for å gjenkjenne karakteristiske trekk for å kunne måle
avstand til last.
Det ble utført et eksperiment ved å hyppig regne ut orientering og avstand på en
liten modell av en shipping container. Systemet ble utført med en translasjonsfeil
mellom 8 mm og opptil 15 mm under dette eksperimentet og en orienteringsfeil på
0,14 grader, beskrevet ut ifra Euler-vinkler. I tillegg til systemets potensial ble det
også løst noen problemer med støy.
Eksempler på at dyp læring- og hjørnedetektorkombinasjon var utsatt for støy var
når dyp læringssmodellen ikke returnerte en presis segmentering av objektet. En
overtilpasset Mask R-CNN-modell ble trent til å teste systemet i omstendighet der
segmenteringen var godt trent på. I løpet av videotesten var systemet i de fleste
tilfeller i stand til å finne punkt korrespondanser mellom 3D punkter og pixel koordinatene i bildet.
Videre ble det foreslått forskjellige metoder for å forbedre systemet. Metodene for
videre arbeid innebærer løsninger for å gjøre systemet mer nøyaktig, raskere og mer
robust mot støy.
Å bruke høyere bildeoppløsning ble bevist gjennom testing for å gjøre systemet mer
nøyaktig. Det er foreslått å kombinere dette med en ny sanntids segmenteringsmodell YOLACT++ (33.5fps) for å gjøre modellen mer nøyaktig, men også raskere.
Metoder for å filtrere ut støy ble foreslått for å gjøre det nåværende systemet mer
robust. Løsninger som optisk strømning eller firkantet montering ble nevnt. Det
virker som om systemet i denne rapporten er lovende for hyppig måling av orientering og posisjon av rektangeloverflater, og med oppgraderinger har den potensialet
til å bli et sanntids sporingssystem med error ≤ 10mm, inkludert støyfiltre. | |
dc.description.abstract | The report focuses on tracking cargo in offshore environments to develop an offshore
autonomous crane lift system. The report discusses the suitability of different sensor
solutions, such as implementing a 3D camera with structured light, 2D camera
and laser technology. Finally, it was proposed to use a 2D digital camera with
Perspective-n-points using deep learning as a feature extractor in conjunction with
a corner detector for cargo tracking.
The experiment of tracking and calculating pose automatically was implemented
on a small-scale model of a shipping container. The experiment performed with a
translational error between 8 mm and up to 15 mm during this experiment and error
of 0.14 degrees, describe in Euler angles. Along with the potential of the system,
some problems with noisy features were addressed.
The instance segmentation and corner detector combination were prone to noise if
the instance segmentation model did not return a precise mask prediction. A new
overfitted Mask R-CNN model was trained to test the system in a circumstance
where the mask prediction was precise. During the video test, it was able to find
image point correspondences in most cases, with exceptions in some frames.
Further, different methods of improving the system was proposed. The propose
methods for further work entails solutions to make the system more accurate, faster
and more robust against noise.
Upgrading the instance segmentation network. Combining a faster instance segmentation model YOLACT++ (33.5 fps) with higher image resolution was proved
through testing to make the system more accurate and lower time delay. Methods of
filtering out the noisy features were proposed to make the current system more robust. Solutions such as optical flow or quadrilateral fitting were mentioned. It seems
like this solution is promising for tracking planar, rectangle surfaces are promising,
and with upgrades it have the potential to become a real-time tracking system with
error ≤ 10 mm, with noise filters. | |
dc.language | eng | |
dc.publisher | NTNU | |
dc.title | Pose Estimation of Shipping Container with PnP and DeepLearning | |
dc.type | Master thesis | |