Gesture recognition using a sensor glove

Abstract

Dette prosjektet har utforska korleis maskinlæring kan brukast i menneske-maskin interaksjonssystemer ved å nytte ein sensorhanske. Det vart foreslått eit design av eit system for kontroll ved hjelp av gestar som er samansett av modular. Dette designet motivererte dei påfølgjande designa av to mønstergjenkjenningssystema som løyser sine respektive gest gjenkjenningsproblem. I ein av modulane blei tre klassifiserarar basert på ulike tilnærmingar til maskinlæring testa på eit problem som omhandla gjennkjenning av statiske hand positurar. I den andre modulen, vart konvolusjonsnettverk brukt til å kjenne igjen geometriske former i tillegg til at konseptet "transfer learning" vart nytta.

I eksperimenta knytta til gjenkjenning av positur, fant ein at naiv bayes klassifiserar ikkje var egna grunna antagelsen om at det er gjensidig uavhengigheit mellom inngangsvariablar for kvar klasse ikkje haldt. K nærmaste naboar klassifiseraren og logistisk regresjon klassifiseraren viste seg å vere lovande då dei oppnådde høg klassifikasjonstreffsikkerheit for eit datasett med fire klasser, men viste seg å slite med datapunkter frå nye, usette klasser.

Eksperimenta for form-gjenkjenning viste at konvolusjonsnettverk oppnådde høg klassifikasjonstreffsikkerheit som foreslår at bilderepresentasjonen er ei mulig tilnærming, utanom ein mulig svakheit når formene er rotert. Eksperimenta foreslo at overføring av "feature-representation" mellom ein modell som var trent på eit anna datasett og ein modell for formgjenkjenning kunne hjelpe med generaliserbarheit.

This project aimed to explore the application of machine learning in human machine interaction systems using a sensor glove. A design of a gesture control system composed of modules was proposed to motivate the subsequent designs of two pattern recognition systems that solved their respective gesture recognition problems. In one module, three classifiers based in different approaches to machine learning were put to the test on a hand pose recognition problem. In the second module, convolutional neural networks were applied to a shape recognition problem where also the concept of transfer learning was applied.

In experiments regarding recognition of pose, the naive bayes classifier was ruled out as its base assumption about mutual indepence of features of a certain class does not hold. The k-nearest neighbor classifier and the logistic regression classifier showed promising results as they achieved high classification accuracy for a four class dataset, but struggled with data of new unseen classes.

The experiments in shape recognition showed that convolutional neural networks achieved high classification accuracy that suggests that the image representation is a viable approach, except for a possible weakness in rotated shapes. The experiments also suggest that feature representation transfer between a pretrained model and a shape recognition model can help with generalizability.