Maskinlæringsbasert grensesnitt for styring av håndprotese med myoelektrisk multimodal enhet

Abstract

Et maskinlæringsbasert grensesnitt for håndproteser med en myoelektrisk multimodal enhet, bestående av samlokaliserte elektroder og kraftsensorer, implementeres for å estimere motorisk intensjon. En ytelsesvurdering av det implementerte styringssystemet utføres og dets egnethet for protesestyring diskuteres. I tillegg presenteres en kort oversikt over forskning på multimodal protesestyring, for å gi leseren et overblikk over tidligere systemer og teknikker. Tidligere forskning og tilgjengelig laboratorieutstyr ligger til grunn for valg som er tatt under implementeringen av grensesnittet.

En hylse med mulighet for brukertilpasning ved justerbar sensorplassering ble designet. Videre ble en strategi for datainnsamling utviklet og gjennomført. For å samle inn nødvendig data fulgte brukeren bevegelsen til en simulator for åpning/lukking av en hånd og rotasjon av håndledd. Det ble utført en bevegelsessekvens ved fem ulike hastigheter og armposisjoner over tre etterfølgende dager. Strategien ble konstruert slik for å fange opp variasjoner og etterligne dagligdags bruk av håndproteser i størst mulig grad. Den multimodale enheten ble brukt for å samle inn signaler fra brukerens arm. De innsamlede signalene ble gitt som inngang til en lineær regresjonsmodell, som estimerer hastigheten brukeren har som hensikt å bevege protesen i.

Systemekarakterisering og en offline analyse gjennomføres for å vurdere grensesnittets ytelse og egnethet for styring av håndproteser. Det ble undersøkt om det implementerte multimodale grensesnittet resulterte i bedre og mer stabil ytelse over tid, sammenlignet med de tradisjonelle metodene. Undersøkelsene viste at den prosentvise nedgangen i ytelse fra systemtreningen økte betydelig med tiden når kraftmålinger inkluderes. Hvis modellene ble generert med tilstrekkelig datamengde og tiden mellom trening og testing var kort, var ytelsen til det multimodale systemet lovende. Hvorvidt reaksjonstiden til brukeren påvirker grensesnittet ble vurdert. Dersom kun stabiliserte signaler brukes, indikerer analysen en ytelsesforbedring. Ytelsesmønsteret over tid påvirkes ikke av brukerens reaksjonstid.

Funnene demonstrerer potensiale til multimodale løsninger. Det finnes begrensninger med metoden som gjør det vanskelig å trekke sikre konklusjoner om årsaken til enkelte observasjoner. Anbefalinger for videre arbeid med det foreslåtte grensesnittet presenteres. Videreutvikling av systemet er nødvendig for å forbedre dets egnethet til protesestyring. En grundigere analyse er essensielt for å realistisk vurdere grensesnittets karakteristikk. Oppgaven fungerer som et bidrag på veien fra eksperimentell proteseforskning til en mer robust styring av håndproteser som godtas av sluttbrukeren.

A machine learning based control interface for hand prostheses with a multimodal myoeletric unit, consisting of co-located electrodes and force sensors, is implemented to predict the human motion intention. An assessment of the implemented interface is performed and its suitability for prosthesis control is discussed. In addition, a brief overview of existing multimodal systems and techniques is presented. Previous research and available laboratory equipment form the basis of the implemented control interface.

In addition to a strategy for data collection, a socket design with adjustable sensor placement for user customization was developed. In order to collect necessary data, the user executes a predefined sequence of movements. The simulated movement of the prosthesis provides the cues of when to perform the muscle contraction corresponding to opening/closing of the hand and/or rotation of the wrist. The sequence of movements was performed at five different speeds and arm positions over three days. The strategy aims to capture variations and mimic everyday use to the greatest possible extent. The multimodal device was used to collect signals from the user's arm. The signals were given as input to a linear regression model, which estimates the desired speed.

How suitable the interface is and its performance is assessed through an offline analysis and characterization. It was investigated whether the implemented multimodal interface resulted in better and more stable performance, compared to the traditional methods. The study showed that the decrease in performance from system training increased significantly with time when force signals were used. If the models are generated with sufficient data and the time between training and testing was short, the performance of the multimodal system was promising. Whether the user's response time affects the interface was assessed. Using only stabilized signals increased the performance, but not the stability.

The results demonstrate the potential for sensor fusion. There are limitations with the method that make it difficult to draw conclusions. Recommendations for further work are presented. Further development of the interface is necessary to improve its suitability for prosthesis control. A more thorough analysis is essential to realistically assess the characteristics of the interface. The thesis serves as a contribution on the way from experimental prosthesis research to a more robust control of hand prostheses that is accepted by the user.