A Quantitative Security Assurance Framework for Large Language Model Applications

Abstract

Store språkmodeller har etablert seg som transformative verktøy for et bredt spekter av oppgaver. Bruken av dem er imidlertid holdt tilbake av deres ukjente sikkerhetsaspekter, og er til hinder for å fullt kunne utnytte deres avanserte funksjoner. Denne oppgaven har laget et utkast til et kvantitativt sikkerhetsrammeverk for applikasjoner basert på slike store språkmodeller, og testet dette gjennom en case-studie. Studien viste hvordan disse modellene av natur er utsatt for angrep på grunn av deres avhengighet av input og manglende evne til å skille brukerdata fra systemdata, som understreker viktigheten av å vurdere både implementeringen av en sikker designarkitektur og forbedre modellens fokus og spesifisitet. Ved å ta slike aspekter i betraktning har denne studien skilt sikkerhetsstatusen til de ulike scenarioene i case-studien inn i fem sikkerhetsnivåer, noe som resulterte i en bedre forståelse av deres nåværende sikkerhet. Denne kunnskapen, sammen med et kontinuerlig menneskelig tilsyn, kan bidra til å sikre applikasjoner basert på store språkmodeller, og dermed bidra til å utnytte deres fulle potensial.

Large Language Model (LLM) technologies have emerged as transformative tools for a wide range of tasks. Their utilization is however currently held back by their unknown security posture, preventing parties to fully make use of their cutting-edge features. This thesis has created a draft for a quantitative security assurance framework for LLM based applications, and tested it through a case study. The study showed how these models are inherently prone to attacks as a result of their dependence on input and lacking ability to distinguish user input from system input, underlining the importance of considering both the implementation of a safe design architecture and enhancing the model's focus and specificity. Taking such aspects into consideration made it possible to eventually distinguish the security of the cases into five security levels, resulting in a better understanding of their current security posture. This knowledge, together with a continuous human oversight, could help secure LLM based applications, and thus contribute to the utilization of their full potential.