Drone landing spot detection in simulated Environments using semantic segmentation

Abstract

Med raske forbedringer i teknologi for droner, har vi sett store økninger i bruksområder, og som et resultat av dette, observert flere ulykker relatert til feilende systemer. Vi har derfor sett et økende behov for forskning på sikkerhetrsrutiner i feltet forskning og utvikling av dronesystemer.

Samtidig, har forskning i bruken av maskinlæring til sematisk segmentering hatt en rask vekst. De nåvæ- rende praktiske bruksområdene til semantisk segmentering er for tiden begrenset, hovedsakelig grunnet den krevende oppgaven i å klassifisere de enorme mengdene med data som kreved for å trene slike modeller.

I denne tesen har jeg utforsket bruken av simulerte miljø, ikke bare til testingen av droner, men også til å delvis automatisere innsamlingen av treningsdata nødvendig til semantisk segmentering. Dataen som ble generert av det utviklede systemet, vil deretter bli brukt til å trene opp en modell til å detektere trygge landingsområder for autonome droner, basert på simulert bilde- og dybde- data.

I løpet av prosjektarbeidet har jeg bygd (og delvis generert) en virtuell verden brukt til innsamling av data, foreslått og implementert flere metoder til generering av nødvendig data, trent et konvolusjonelt nevralt nettverk med data generert fra det tidligere nevnte systemet, og til slutt implementert og tatt i bruk maskinlæringsmodellen i en autonom drone i et simulert miljø.

Jeg har i løpet av tesen, vist at de foreslåtte metodene for generering av data, kan klassifisere bilder langt raskere en hva som er mulig med manuelt arbeid, og at semantisk segmentering har potensial som et verktøy til gjennkjenning av trygge landingsplasser for droner.

With improving technology in the field of Unmanned Aerial Vehicles (UAVs), we have seen a large increase in applied usages of drones, and as a result, observed multiple accidents from failing systems. We, therefore, see a growing need in research into safety procedures in the research and development of UAV systems.

Meanwhile, research in the use of Machine Learning (ML) for semantic segmentation tasks have seen rapidly improving. The current practical applications of semantic segmentation tasks are, however, limited, mostly due to the laborious task of labeling the enormous amounts of data needed to train such a model.

In this thesis, we explore the usage of simulated environments, not only for the testing of UAVs but also to partially automate the task of collecting training data for semantic segmentation tasks. The data generated by our system, will then be used to train a model to detect safe landing zones for drones, based on RGB images and depth data provided by the simulation.

During the project work, we have built (and partly generated), a virtual world used in the collection of data, proposed and implemented multiple methods to generate the necessary data, trained a Convolu- tional Neural Network (CNN) with data generated with aforementioned methods, and finally implemented and applied the model on a drone running in a simulated environment.

We have shown that our proposed method of data generation can build training data far faster than manual labeling, and that semantic segmentation has potential as a tool in recognizing safe landing zones for UAVs.