EEG Controlled Robot Arm

Abstract

Denne rapporten omhandler utviklingen av et system for styring av en robotarm ved bruk av elektro-elektrofalografisk utstyr, kunstig intelligens og digitale signalbehandlingsteknikker. Formålet med prosjektet var å undersøke disse metodene grundig, spesielt kunstigintelligens (AI) og digitale signalbehandlingsteknikker når det gjelder tolkning av elektroen-cephalografi (EEG) signaler. Raddata, diskret Fourier Transform (DFT) og Wavelet transformasjon ble sammenlignet som databehandling metoder. Mens fullstendig tilkoblede NNs ble sammenlignet med en og to dimensjonale CNN og lang kortsiktig minne (LSTM) RNNs som forskjellige NNs av interesse i denne forbindelse. Rådataene ga ikke tilstrekkelige resultater for å kontrollere armen. Det var noen forbedringer da datasettstørrelsen ble økt. Men tiden som trengs for å få et stort nok datasett tomake dette var et levedyktig alternativ for lang for en person å samles i en økt. Med DFT som behandlingsmetode hadde NNs gode prediktive egenskaper, med prognoser så høyt som 97%, dette ble oppnådd i takt med en todimensjonal CNN. Disse resultatene ble oppnådd med små datasett og små NN. Nettverkene var tilbøyelige til å overfitte, slik at størrelsen ned er nødvendig for disse resultatene. DFT la mye tid til trening, hvor det ville ta timer med rå data ville ta dager med DFT.Wavelet hadde lignende problemer med DFT-tilnærmingen. Tiden som trengs for å trene NNs økte drastisk sammenlignet med rå data, men de prediktive egenskapene økte også med opptil 23%, og den totale nøyaktigheten var på 43%. Tidsutøvelsen var relativt nær DFT og en økning av nøyaktighet bare opptil totalt 43%, var signifikant lavere enn ved DFT. Kontroll av en simulert robotarm ble oppnådd ved å bruke den beste preforming NN med data for utvikling. Det var også et forsøk på å kontrollere armen gjennom strengt mentale kommandoer. Dette virket i svært begrenset grad.

This report concerns the development of a system for controlling a robotic arm by the use ofelectroencephalography equipment, artificial intelligence and digital signal processing meth-ods. The purpose of the project was to investigate in depth these methods, specifically artificialintelligence (AI) and digital signal processing methods in terms of interpretation of electroen-cephalography (EEG) signals.Raw data, discrete fourier transform (DFT) and wavelet transform were compared as dataprocessing methods. While fully connected NNs, one and two dimensional CNNs and long shortterm memory (LSTM) RNNs were compared as different NNs of interest in this regard.The raw data didn’t give sufficient results for controlling the arm. There was some improve-ment when the data sets size was increased. But the time needed to get a big enough data set tomake this a viable option was too long for one person to gather in one session.With DFT as the processing method the NNs had good predictive qualities, with predictionrates as high as 97%, this was achieved in tandem with a two dimensional CNN. These resultswere achieved with small data sets and small NNs. The networks were prone to overfitting, sokeeping the size down is necessary for these results. The DFT added a lot of time to training,where what would take hours with raw data would take days with DFT.Wavelet had similar problems to the DFT approach. The time needed to train NNs increaseddrastically compared with raw data, however the predictive qualities also increased with up to23%, leaving the total accuracy at 43%.The time spent training was relatively close to DFT andan increase of accuracy only up to a total of 43%, was significantly lower than with DFT.Control of a simulated robot arm was achieved using the best preforming NN with data ofmovement. There was also an attempt at controlling the arm trough strictly mental commands.This worked to a very limited degree.