Exploring the Impact of Large Language Models on Conceptual Learning in Higher Education: An Analysis of AI-Driven Conversational Tools (ChatGPT)

Abstract

Dette prosjektet undersøker brukeropplevelse og effektiviteten av AI-genererte samtaleverktøy, spesielt store språkmodeller (LLM), i å forbedre forståelsen av konseptuelle emner i utdanningskontekster, sammenlignet med tradisjonelle metoder for informasjonssøk på nett, som nettsteder. Studien benyttet ChatGPT-4, GPT-er, en tilpasset modell av ChatGPT trent på et spesifikt konseptuelt emne, og en standard nettside for sammenligning. Totalt deltok 38 studenter fra syv ulike fagområder med bachelor- og mastergrader. Datainnsamlingen inkluderte spørreskjemaer før og etter studien, samt intervjuer, som ble analysert ved hjelp av statistiske og tematiske metoder. Hovedfunnene viste at ChatGPT og tilpassede GPT-er overgikk nettsider når det gjaldt å forbedre forståelse og brukeropplevelse. Disse AI-verktøyene var interaktive og engasjerende, de tillot samtalebasert input og ga menneskelignende, personaliserte svar. Dette møtte individuelle behov og fylte gapene i tradisjonelle metoder på nett. Deltakerne opplevde dem som mer motiverende og morsomme å bruke for læring sammenlignet med tradisjonelle nettsider. Blant LLM-ene var tilpassede GPT-er spesielt mer effektive i høyere utdanning på grunn av deres evne til å trenes opp til å levere kunnskap innenfor spesifikke fagområder og gi mer konsise svar. Under treningen av disse tilpassede GPT-ene ble en pedagogisk taksonomi, Blooms taksonomi, brukt som rammeverk for å sette læringsmål og designe læringsaktiviteter. Det strukturerte rammeverket hjalp tilpassede GPT-er med å fremme et høyere nivå av læring, som utvikling av kritisk tenkning, og forbedret den generelle utdanningsopplevelsen. Likevel gjenstår det utfordringer og begrensninger med AI-verktøy. Disse verktøyene slet med nøyaktighet, troverdighet, skjevhet og avhengighet av godt utformede forespørsler, noe som reduserte deltakernes tilfredshet og selvtillit. Til tross for disse problemene anbefaler studien ansvarlig bruk av AI-verktøy i utdanning uten å erstatte menneskelige lærere. Ved å utnytte deres styrker og utdanne studenter og lærere om deres begrensninger og muligheter, kan disse verktøyene betydelig forbedre læring. Derfor er det viktig at fremtidige studier adresserer troverdigheten og brukervennligheten til disse verktøyene for å maksimere deres potensial. Denne studien gir verdifulle innsikter i rollen AI-verktøy som ChatGPT kan spille i utdanning, og fremhever deres potensial til å forbedre konseptuell forståelse og berike læringsopplevelsen.

This project investigates user experience and the effectiveness of AI-generated conversational tools, particularly Large Language Models (LLMs), in enhancing comprehension of conceptual subjects in educational contexts, compared to traditional online information retrieval methods, such as websites. The study utilized ChatGPT-4, GPTs, a custom model of ChatGPT trained on a specific conceptual subject, and a standard website for comparison. A total of 38 students across seven disciplines with bachelor’s and master’s degrees participated. Data collection involved pre- and post-study questionnaires and interviews, analyzed using statistical and thematic methods. Key findings revealed that ChatGPT and custom GPTs outperformed websites in enhancing comprehension and user experience. These AI tools were interactive and engaging, allowing conversational input and providing human-like, personalized responses. That addressed individual needs and filled the gaps in online traditional methods. Participants found them more motivating and enjoyable for learning compared to traditional websites. Among the LLMs, custom GPTs were particularly more effective in higher education due to their ability to be trained so they could provide domain-specific knowledge and more concise answers. During the training of this custom GPTs, an educational taxonomy, Bloom’s Taxonomy, was utilized as a framework to set learning goals and design learning activities. The structured framework helped custom GPTs promote a higher level of learning, like the development of critical thinking skills, and improved the overall educational experience. However, challenges and limitations of AI tools remain. These tools struggled with accuracy, credibility, bias, and reliance on well-crafted prompts, which reduced participants’ satisfaction and confidence. Despite these issues, the study advocates for the responsible use of AI tools in education without replacing human teachers. By leveraging their strengths and educating students and educators about their limitations and opportunities, these tools can significantly enhance learning. Therefore, it is important for future studies to address the credibility and usability of these tools to maximize their potential. This study contributes valuable insights into the role of AI tools like ChatGPT in education, highlighting their potential to improve conceptual understanding and enhance the learning experience.