MarineVisionAI - Enhancing Situational Awareness through Real-time Image Stitching

Abstract

Denne bacheloroppgaven tar for seg problemstillingen: "Hvordan kan et kamerasystem bli utviklet for å forbedre effektivitet og sikkerhet i industrielle operasjoner?". Bachelorgruppen har utviklet en prototype ved navn MarineVisionAI, for å utvide operatørers synsfelt gjennom flere kamerastrømmer. Ved å sy sammen tre kameraer har gruppen oppnådd en panorama kamerastrøm med 140 grader synsvinkel, gjennom metoder kalt "feature detection" og "feature matching". I tillegg tar prototypen i bruk maskinlæringsmodeller for å detektere objekter i sanntid. Det resulterende kamerasystemet har en glass-til-glass forsinkelse på 180 millisekunder, en bildestørrelse på 4800x540 piksler, og en oppdateringsfrekvens på 20 bilder i sekundet. Dette inkluderer hele prosessen fra bilde blir tatt, sendt, prosessert, samt maskinlæringsinferens, og til det blir vist på skjermen.

This bachelor thesis addresses the problem: "How can a camera system be developed to improve efficiency and security in industrial operations?". The bachelor group has developed a prototype called MarineVisionAI to widen operators' field of view using multiple camera feeds. Stitching together three cameras, the group achieved a seamless panoramic camera feed, with a 140-degree angle of view, through feature detection and matching. Additionally, the prototype uses machine learning models to detect objects in real-time. The resulting camera system has a glass-to-glass latency of 180 milliseconds, an image size of 4800x540 pixels, and a frame rate of 20 frames per second. This includes image acquisition, transmission, image processing, machine learning inference, and displaying the final image.