A comparison of manual and automated quality assessment of Open Educational Resources and their reliability

Abstract

FNs bærekraftsmål nummer fire er å: "Sikre inkluderende, rettferdig og god utdanning og fremme muligheter for livslang læring for alle". UNESCO ser på åpent læringsinnhold (OER (Open Educational Resources)) som en viktig del i å oppnå dette. OER er læringsinnhold som er delt under en åpen lisens som tillater fri tilgang, bruk, endring eller redistribusjon under få eller ingen vilkår. OER bevegelsen har gjenvunnet oppmerksomhet med COVID-19 som gjorde det nødvendig å studere hjemmefra for millioner. På tross av denne effekten er det mange utfordringer for videre vekst. En av de viktigste er kvalitetskontroll. Metodene som brukes nå er hovedsakelig bygget på manuell evaluering som er for tidkrevende og kostbare.

Denne avhandlingen foreslår en hvit box ("white box") algoritme som kombinerer teoretisk kvaliateskunnskap og tilgjengelige mettriker og beregner en kvalitetsscore basert på disse. Algoritmen var utviklet for innholdstypen "Interactive Video" i rammeverket H5P. For å evaluere nytten av algoritmen ble den sammenlignet med den mest brukte methoden: manuelle evalueringer. De manuelle evalueringen hadde ulike kvalitetsfaktorer, samt to overordnede faktorer deltakerne skulle gi en score til. I tillegg kunne de velge å legge til en kommentar. Resultatene fra evalueringen ble så brukt til å finne hvor sto overensstemmelse de metodene har er og hvor pålitelige de er.

Resultatet var en lav til moderat grad av overensstemmelse mellom de manuelle vurderingene og algoritmeresultatene. Det betyr at algoritmen nyttig i visse situasjoner, men for det hovedsakelig som i tillegg til andre metoder. Det mest avgjørende funnet var imidlertid den lave påliteligheten til de manuelle vurderingene. Vurderingene var svært subjective, og dette har betydelige implikasjoner for denne studien og all forskning som bruker manuelle evalueringer som datakilde. Videre studier må fortsette å utvikle automatiske evalueringsmetoder, men ta i betraktning hvordan de best kan evalueres.

The fourth Sustainable Development Goal is to: "Ensure inclusive and equitable quality education and promote lifelong learning opportunities for all". UNESCO considers Open Educational Resources (OER) vital in achieving this. OERs are educational material shared under an open license permitting free access, use, adaption, and redistribution under few restrictions. The OER movement has regained attention, with COVID-19 forcing millions to study from home. However, there are many challenges to continued growth. One of the most crucial challenges is quality control. Current approaches are mainly built on manual reviews, which are time-consuming and expensive.

This thesis proposes a white-box algorithm that combines theoretical quality knowledge with measurable metrics to give a quality score. The algorithm was developed for the educational resource type Interactive Videos created with the framework H5P. I performed a comparative study of the algorithm and the most adopted approach: manual reviews. 23 H5P users were recruited to perform 107 manual reviews of 57 OERs. The manual reviews scored different quality factors, two overall scores, and could add a comment for each resource. The data were then used to find the degree of agreement between the two methods and their reliability.

The result was low to moderate degree of agreement between the manual reviews and algorithm scores. That means that the algorithm can be a suitable approach in certain cases, but mostly as an addition to other methods. However, the most crucial finding was the low reliability of the manual reviews. The reviews were highly subjective and this has significant implications for this study and all research using reviews as a data source. Future studies need to continue to work on automated approaches but consider how they can be evaluated correctly.