Stereo vision for autonomous ferry

Abstract

Denne oppgaven diskuterer stereosyn for å detetktere objekter på lange distanser, kalibrering og system implementasjon for et førerløst fartøy. Oppsettet innehar en interaksiell avstand på 1.80 meter mellom kameraene for å optimalt detektere objekter på 50 meters avstand. En metode for å kalibrere på lengre avstander er foreslått. Metoden er testet og resultatene viser at valg av kalibrerings scene er viktigere enn avstanden til kalibreringsobjektet. Kalibreringen utført på 20 meter viste å gi mest nøyaktige dybdeestimat.

Systemet er designet for fergen milliAmpere og er testet i et marint miljø. Systemet prosesserer rå sensordata og gir ut verdenskoordinater til detekterte objekter. Dybdekartet er implementert ved bruk av algoritmene Sum of Absolute Differences og Fast Global Image Smoothing filter basert på minste kvadraters metode viser seg å være robust. To metoder er implementert for å detektere objekter i dybdekartet. Ett konvolusjonelt nevralt nettverk (CNN) for klassifisering gir i kombinasjon med dybdekartet verdensposisjonen til objekter av interesse. Metoden viser seg å være robust mot støy, men har noe inkonsekvente estimater. En alernativ metode deteksjonsmetode basert på hierarkisk grupperingsalgoritme som bruker Euklidsk avstand gir mer pålitelige deteksjoner, men er mer utsatt for støy i dybdekartet. Det implementerte systemet viser potensiale for å detektere objekter i avstander mellom 10 og 200 meter, men ytterligere testing må utføres for å kunne integrere sensoren i ett helhetlig system for navigasjon av et autonomt fartøy.

The thesis discusses far-range object detection for stereo, calibration, and system implementation for unmanned surface vehicles. The stereo system record with a baseline of 1.80 meters, with a fixation point at 50 meters. For far range distance estimation, a procedure for extrinsic stereo calibration is introduced. Testing the procedure at different distances, show that the selected scene is of higher importance than calibrating at the operating range. The calibration at 20 meters achieves the best overall distance estimates.

The stereo system is designed for the autonomous ferry milliAmpere, and tested in a maritime environment. The system processes raw sensor data and output world coordinates of the detected objects. The disparity map created using Sum of Absolute Difference (SAD) and a Fast Global Image Smoothing based on Weighted Least Square (WLS) filter, is robust and has low computational cost. For object detection purposes, two clustering techniques are implemented. A convolution neural network is applied for classification, and used in combination with the disparity map to extract 3D positions of objects. The method is robust against noise in the disparity map, but appear to be partially inconsistent in the estimates. An alternative detection method based on hierarchical clustering using Euclidean distance yields more reliable detections, but is more prone to noise. The implemented system shows potential for vessel detection in a range of 10 to 200 meters, but it is still not clear that the detection performance is good enough to rely on in an autonomous collision avoidance system.