Tegnspråk med maskinlæring

Abstract

Målet med denne bacheloroppgaven Tegnspråk med Maskinlæring er å kunne oversette tegnspråk ved hjelp av maskinlæring. Det er flere teknologier som må kunne jobbe sammen for å kunne oppnå et bra resultat, blant annet maskinlæringsmodeller og sporingsteknologier. Et av hovedfokusene var å finne en sporingsteknologi som kan spore nøyaktig og er enkel å bruke. Det ble sett på mange ulike områder innen maskinlæring for å se etter ideer som kan virke positivt på prosjektet. I tillegg ble metoder for databehandling testet for å finne gode måter å strukturere data på og oppnå tilfredsstillende resultater. Resultatene som blir beskrevet i rapporten ble oppnådd ved hjelp av databehandlingsmetoder og mye testing og justering av forskjellige maskinlæringsmodeller.

Datasettet brukt på maskinlæringsmodellene inneholder både statiske og dynamiske håndbevegelser, noe som var utfordrende å oversette i starten, men ble oppnådd mot slutten av prosjektet. Det ble muliggjort av databehandlingsmetodene som økte nøyaktigheten på modellene. Resultatene viser at oversetting av tegnspråk ved hjelp av maskinlæring er mulig, selv med av todimensjonale koordinater.

The purpose of this bachelor thesis, Sign language with Machine Learning, is to be able to translate sign language using machine learning. Technologies that must work together to achieve a good result, are machine learning models and tracking technologies. One of the main focuses was to find a tracking technology that can track accurately and is simple to use. A lot of different concepts of machine learning were studied so that good ideas that could positively affect the project, would be implemented. Additionally methods for data processing were tested to find good ways of structuring data and to achieve satisfying results. The results presented in this report were achieved by using data processing methods and testing, and adjusting different machine learning models.

The dataset used on the machine learning models both contained static and dynamic gestures, which was challenging to translate in the beginning of the project, but was accomplished towards the end. This was also achieved by using data processing methods which increased the accuracy of the models. The results shows that translation of sign language using machine learning is possible even using two dimensional coordinates.