Improved Adaptive Learning Systems Using Biometric Data and Machine Learning

Abstract

Det stadig større kravet om digitalisering i samfunnet setter større krav til utdanning av dyktige arbeidere innen datateknikk, programmering og informatikk. Programvareutvikling er et fagfelt som sliter med at et stort antall studenter faller fra. Denne avhandlingen presenterer en småskala eksperiment i å innlemme biometriske data og maskinlæring med et tradisjonelt adaptivt læringssystem for å hjelpe programmeringsstudenter å lære seg hvordan programmere. Dette gjøres gjennom bruk av Parsons Problemer. Parsons Problemer krever at brukeren setter kodeblokker i riktig rekkefølge og er en effektiv måte å lære relevante programmeringsferdigheter på. Forskningen presentert i denne oppgaven hadde som mål å evaluere om det er mulig å bruke biometriske data for å akselerere hastigheten som det adaptive læringssystemet bruker på å estimere en brukers ferdigheter. De biometriske dataene ble samlet inn ved hjelp av en øyesporings sensor og følelsesdeteksjon ved hjelp av et webkamera. Metodikken involverte en to-trinns prosess hvor et adaptivt læringssystem ble utviklet hvor brukere kan løse Parsons Problemer, og deretter ble dette brukt i en serie eksperimenter for å samle inn de biometriske dataene som ble brukt i det andre trinnet. Det andre trinnet inkluderte trening av ett nevralt nettverk, støttevektorregresjon, gradient boost og random forest-modell på dataen som ble samlet inn i del en. Eksperimentet fra det første trinnet ble deretter gjentatt for å se om prediksjonsmodellene kunne overgå ELO-ratingmodellen som ble brukt i det første trinnet. Funnene viste at prediksjonsmodellene ikke betydelig overgikk ELO-ratingmodellen, men at det er potensial i å kombinere prediksjonsmodellene med ELO-ratingmodellen som kan hjelpe med å lære programmering til nye studenter. Videre så dekker den endel informasjon funnet om hvordan utvikle bedre maskinlæringsmodeller for bruk med ELO-rating systemer i fremtiden.

The push for digitalization puts a larger demand on the education of skilled workers in computer engineering, programming, and computer science. With programming being a field that struggles with many students dropping out. This thesis presents a small-scale experiment in integrating biometric data and machine learning with a traditional adaptive-learning system to help programming students learn how to program. This is done through Parsons Problems. Parsons Problem requires the user to arrange code blocks in the correct order and is an effective way of teaching relevant programming skills

This research aimed to evaluate if using biometric data could accelerate the rate at which the adaptive learning system correctly estimated a user's performance. Biometric data was collected using an eye-tracking sensor and emotion detection using a web camera.

The methodology involved a two-step process where an adaptive-learning system was developed for the user to solve Parsons Problems and then this was used to collect the biometric data used in the second step. The second step included training a Simple Neural Net, Support Vector Regression, Gradient Boost and Random Forest model on the collected data. The experiment from the first step was then repeated to see if the prediction models could outperform the ELO-rating model used in the first step.

The findings found that the prediction models did not significantly outperform the ELO-rating model, but that there is potential in combining the prediction models with the ELO-rating model which can help with teaching programming to new students. It also covers a information found on how to better develop machine learning models for use with ELO-rating systems in the future