Academic Advising Using Large Language Models

Abstract

Bruken av kunstig intelligens i ulike fagfelt og industrier har økt dramatisk de siste årene, og det å utnytte dens styrker for å automatisere manuelle prosesser anses som avgjørende for å holde tritt med teknologiske fremskritt, bruke tilgjengelige ressurser til sitt fulle potensial og å holde seg konkurransedyktig. Denne masteroppgaven utforsker potensialet til kunstig intelligens rettet mot å takle utfordringer i høyere utdanning, som oppstår grunnet mangel på veiledning og bevissthet av muligheter. Dette er noe som kan påvirke studenters engasjement og bidra til høyere frafallsrater.

Ved å benytte store språkmodeller, prompt engineering, kontekstinnlasting og ulike optimaliseringsteknikker, presenterer vi verktøyet "AI Academic Advisor" for å forenkle den komplekse beslutningsprosessen studentene står ovenfor. Basert på en undersøkelse av studentenes interesser, ferdigheter og karrieremål, vil verktøyet anbefale tilpassede akademiske valg med begrunnelse. Målet er enkelt, men vesentlig: å få studenter begeistret for studiene sine ved å vise dem hvordan deres akademiske valg er i samsvar med deres fremtidige karrieremål og personlige interesser. Studieverktøyet sikter også på å fremme engasjement, motivasjon og læring ved å stille konseptuelle spørsmål som fremmer selvrefleksjon og selvevaluering. Å fremheve nytteverdien i hvert fag, med vektlegging av studentenes interesser og mål, kan forsterke studentenes ekstrinsiske og intrinsiske motivasjon for utdanningen.

For å måle verktøyets resultater, har vi tatt i bruk en blandet forskningsmetode som inkluderer både systematisk testing av de forskjellige konfigurasjonene og presisjonsteknikkene og kvalitative intervjuer med studenter etter bruk av verktøyet. Prototypen av "AI Academic Advisor" har enkelte mangler som et system, men viser lovende potensiale for å positivt påvirke måten studenter oppfatter, tar beslutninger angående, og gjennomfører sin høyere utdanning. Dette skisserer en fremtid hvor store språkmodeller og kunstig intelligens kan brukes til å gi pålitelig akademisk veiledning, gitt fremtidig forskning og videre utvikling.

The use of Artificial Intelligence (AI) across different disciplines has seen a rapid increase in recent years. Using its capabilities to automate manual processes is considered increasingly essential to keep up with technological advances, utilize available resources to their fullest, and stay ahead of the competition. This thesis explores the potential benefits of utilizing generative technologies in academic advising. In the investigation, it will consider challenges in higher education that originate from a lack of guidance availability, option awareness, and knowledge, which can lead to uninformed decisions, student disengagement, and high dropout rates.

By utilizing Large Language Models (LLMs), prompt engineering, context loading, and different precision measures, we propose the proof-of-concept for an "AI Academic Advisor" tool. It targets to provide precise course recommendation and simplify this complex decision-making process. Based on a survey of the students' interests, skills, and career goals, the tool will recommend personalized academic paths. The aim is to get students excited about their studies by showing them how their courses line up with their future career goals and personal interests. Through its design, the system also targets to promote engagement, motivation and learning by asking conceptual open-ended questions. This can promote self-evaluation and reflection regarding the students' chosen academic path, and potentially influence the students' perception of the intrinsic and extrinsic value of their academic journey.

To examine the feasibility of this tool, we have used a mixed methodology approach with systematic testing of the various configurations and precision measures, in conjunction with collecting feedback and conducting qualitative interviews with students upon exposure to the tool. The "AI Academic Advisor" prototype has several shortcomings as a system, but shows promising potential to positively influence the way students perceive and undergo their higher education. This outlines a future where LLMs and AI can be used to reliably provide academic guidance, subject to future research and further development.