Multi-modal Bayesian knowledge tracing

Abstract

I dette forskningsprosjektet sammenlignes Bayesian knowledge tracing (BKT) med en ny versjon av algoritmen, hvor innsikt fra multi-modal data (MMD) om studenters kognitive, affektive og atferdsmessige tilstander benyttes. BKT, som er en av de mest brukte algoritmene til å modellere domenekunnskap, gjør i sin originale versjon enkelte simplifikasjoner ved å operere med en læringsrate og et initielt kunnskapsestimat som er likt for alle studenter. Dette har ført til at det har blitt utført mye forskning rundt det å individualisere disse antagelsene i BKT. Parallelt med dette har et forskningsområde knyttet til MMD vist lovende innsikt i læringsprosessen. Denne innsikten har enda ikke blitt forsøkt brukt til å individualisere BKT. På bakgrunn av dette forsøker denne forskningen å svare på følgende problemstilling: Hvordan kan innsikt hentet fra multi-modal data brukes til å forbedre modellering av studenters kunnskap i Bayesian knowledge tracing? For å svare på problemstillingen ble en ny versjon av BKT, kalt Multi-modal Bayesian knowledge tracing (MMBKT), designet og implementert i et smart læringssystem (ITS). Dette ble så testet i et studie. Her deltok 18 barn fra femteklasse på en lokal barneskole. Dataanalysen viste at elevene var signifikant mindre stresset når MMBKT kontrollerte ITS'et. Videre ble det funnet at MMBKT var 5% dårligere i å predikere hvilket svar studentene ga, noe som skiller seg fra funnene i andre forsøk på individualisering av BKT.

This thesis compares Bayesian knowledge tracing (BKT) to a new version of the algorithm, where information computed from multi-modal data (MMD) regarding learners’ cognitive, affective, and behavioral states are leveraged. BKT is one of the more popular algorithms used to create a representation of a learner’s current knowledge in a field. The original algorithm makes a few generalized assumptions regarding the initial knowledge and learning rate of a learner. A central focus in research related to BKT has been aimed at individualizing these assumptions. In a different field within learning technology, namely MMD research, a wide array of modalities have been found to contain valuable insights regarding the learning process. However, leveraging these insights have not yet been done in BKT. With this in mind, this research attempts to answer the following research question: How can insights extracted from multi-modal data be employed to improve student knowledge modeling in Bayesian knowledge tracing? To answer the research question, a newly created version of BKT, coined Multi-modal Bayesian knowledge tracing (MMBKT), has been designed and implemented in a intelligent tutoring system (ITS). Following this, MMBKT was tested in a repeated measures within-subject field study. Here, 18 children attending fifth grade at a local elementary school participated in the field study. The main finding was that students expressed significantly lower levels of stress when MMBKT controlled the ITS. It was also found that MMBKT had a 5% lower prediction accuracy than BKT, which stands in contrast to findings from other individualization attempts reported in the literature.