Applying Machine Learning Using Custom Trained Convolutional Neural Networks on Subsea Object Detection and Classification
Master thesis
Permanent lenke
http://hdl.handle.net/11250/2622940Utgivelsesdato
2019Metadata
Vis full innførselSamlinger
- Institutt for marin teknikk [3562]
Sammendrag
Med bakgrunn i aldrende utstyr på norsk kontinentalsokkel er behovet for inspeksjoner, vedlikehold og reparasjoner forventet å øke betydelig de kommende årene. Fjernstyrte undervannsfarkoster (ROV) spiller en vesentlig rolle i slike operasjoner i dag, men er svært dyre på grunn av det medfølgende skip og sitt mannskap. En løsning som ville redusere operasjonskostnadene betraktelig er autonome undervannsfarkoster (AUV). De ville gi muligheten til å monitorere store områder, tilby tilsyn døgnet rundt og muliggjøre umiddelbar tilgang på assistanse. Disse AUVene krever beslutningstaking i sanntid, der korrekt detektering og klassifisering av undervannsobjekter er avgjørende. Detektering basert på tradisjonelt maskinsyn er vanskelig og feilutsatt på grunn av behovet for å trekke ut karakteristikker manuelt. Et robust alternativ kan være maskinlæringsmetoder, et område som har sett kraftig forbedring i det siste. Dermed er fokuset i denne tesen, hvordan man kan detektere og klassifisere undervannsobjekter ved å bruke maskinlæring, samt å undersøke effekten det har å trene på komplementære overvannsbilder. Formålet er å implementere en objektdetektor basert på maskinlæring, trene den på forskjellige bildedatasett, og evaluere på et fast valideringsdatasett. Dette er eksemplifisert ved å trene på bilder av en hammer, med antagelsen om at detektering av andre objekter har lik metode, bare med forskjellig treningsdata.
Det nevrale nettverket (CNN) You Only Look Once versjon 2 (YOLOv2) ble implementert i Python og trent på tre forskjellige datasett: overvann, undervann og hybrid (en kombinasjon av de andre to). Disse datasettene ble innsamlet fra Marin Kybernetikk-laben på Tyholt NTNU, gjennom en BlueROV2 og dets kamera. Evaluering ble gjort på et datasett som inneholdt både over- og undervannsbilder, og som totalt bestod av 9.2% av de innsamlede bildene. Dette resulterte i gjennomsnittlig presisjon (AP) for hver detektor på henholdsvis 36%, 77%, og 92%. Resultatene er som forventet og indikerer at deteksjon av objekter ved bruk av maskinlæring er mulig. Høyere presisjon ble oppnådd med hybriddetektoren, som var trent på overvannsbilder som generelt er billigere å produsere. Due to aging equipment on the Norwegian continental shelf, the need for Inspections, Maintenance and Repair (IMR) operations are expected to increase considerably in the coming years. Remotely Operated Vehicles (ROVs) play a significant role in these operations today, but are expensive due to the accompanying ship with its crew. A solution which would immensely reduce operational costs are Autonomous Underwater Vehicles (AUVs). They would give the ability to monitor large areas, offer around-the-clock supervision and allow for instant access to assistance where needed. These AUVs require real-time decision making, where correct detection and classification of objects underwater is imperative. Detection based on classical computer vision is difficult and error-prone due to manually created feature extractions. A robust alternative might be deep learning methods, an area which has seen rapid advances lately. Thus the focus of this thesis, is how to detect and classify objects below water by using deep learning, and to examine the effects of training on complementary images from above water. The objective is to implement a deep learning object detector, train it on different image datasets, and evaluate the results on a fixed validation dataset. This is exemplified through training on images of a hammer, with the assumption that detection of any other object is similar in scope, just with different training data.
The Convolutional Neural Network (CNN) algorithm You Only Look Once version 2 (YOLOv2) was implemented in Python and trained on three different image datasets: above water, below water and hybrid (a combination of the other two). These datasets were collected from the Marine Cybernetics lab at Tyholt NTNU, using a BlueROV2 and its camera. Evaluation occurred on a dataset comprising of both above and below water images, totaling 9.2% of all the images collected. This resulted in Average Precision scores for each detector of 36%, 77%, and 92%, respectively. The results are as expected and indicate that object detection using deep learning is indeed possible. Higher precision was achieved with the hybrid detector, which was trained on above water images that are typically cheaper to produce.