Turning an elastic wave-guide into a touch pad using acoustic waves and deep learning. Using domain knowledge to guide the Neural Network training, in order to improve Neural Network's ability to generalise to unseen accelerometer configurations on the wave-guide.

Abstract

Denne oppgaven undersøker hvordan man gjør en hvilken som helst overflate om til en touch-skjerm ved hjelp av en bærbar puck. En slik puck vil måtte fungere uavhengig av puckens plassering på overflaten og materialegenskapene til platen.

Tidligere studier har vist at det er mulig å lokalisere en sveipende finger på en plate ved hjelp av akustisk sensing, gjennom digitale signalbehandling og mer nylig gjennom dyplæring. Men med dyplæring oppstår problemet med generalisering, og spesifikt hvordan trene et nevralt nettverk slik at ytelsen er uavhengig av hvor pucken er plassert på platen. Denne oppgaven undersøker hvordan man kan forbedre generalisering til ukjente akselerometerkonfigurasjoner ved å veilede den nevrale nettverkstrening med domenekunnskap.

Domenekunnskapen samles gjennom analyse av akselerometermålingene ved bruk av GCC-PHAT-metoden og tids- og frekvensdomenerepresentasjoner.

En grunnlinjemodell justeres først, og deretter legges inkrementer til ved å bruke kunnskapen oppnådd fra dataanalysen.

Resultatene var ikke entydige, og viste ingen signifikant forskjell i det nevrale nettverkets ytelse mellom de konfigurasjonene nettverket hadde sett før og konfigurasjonene nettverket ikke hadde sett før. Derfor var det utfordrende å avgjøre om integrering av domenekunnskap i den nevrale nettverkstreningen forbedret generaliseringsevnene.

This thesis investigates how to turn any surface into a touch pad using a portable puck. Such a puck would have to work independently of puck location on the wave-guide and the material properties of the wave-guide.

Previous studies have shown that it is possible to locate a swiping finger on a plate using acoustic sensing, primarily through digital signal processing methods and more recently through deep learning approaches. However, with deep learning arises the problem of generalisation, and specifically how to train a Neural Network so that the performance is independent of where the puck is located on the plate.

This thesis investigates how to improve generalization to unseen accelerometer configurations by guiding neural network training with domain knowledge. The Domain knowledge is gathered through analysing the accelerometer measurements using the GCC-PHAT method and time and frequency domain representations.

A baseline model is first tuned and then increments are added using the knowledge gained from the data analysis.

The results were inconclusive, showing no significant difference in the neural network's performance between the configurations the network had trained on and the unseen configurations. Therefore, it was challenging to determine whether integrating domain knowledge into neural network training improved its generalization abilities.