Prompt Engineering with Modifiers
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3112903Utgivelsesdato
2023Metadata
Vis full innførselSamlinger
Beskrivelse
Full text not available
Sammendrag
Å kunne korte ned større mengder informasjon, og samtidig bevare essentielle faktaog budskap, er verdifullt i dagens datadrevne verden. I tråd med den sterke generellefremgangen innen prosessering av naturlig språk på 2010- og 2020-tallet, har språkprosse-seringsverktøy som kan utføre automatisk oppsummering av tekst blitt stadig bedre.Store språkmodeller (LLMs) har fått særlig mye oppmerksomhet pga. deres allsidighet ogevne til å formulere tekst av høy kvalitet. Thoth, en oppstartsbedrift basert i Singapore,ønsker å utnytte OpenAIs ledende språkmodeller i et produkt som automatisk generererinformasjonsgrafikk basert på informasjonen i ett inputdokument. Dette inputdokumentetskal formidles gjennom Thoths tre-ganger-tre-format, hvor oppsummeringer må bestå avtre underoverskrifter med hver sine tre underpunkter. For å maksimere kvaliteten av disseformat-spesifikke oppsummeringene, målet for denne masteroppgaven, må det utviklespassende instruksjoner som er i stand til å rettlede modellen. Det er derfor gjennomført enrekke modifikatorsentrerte instruksjonsutviklingseksperimenter, som er evaluert både meden samling automatiske metrikker og av frilansskribenter. Eksperimentene sammenliknergenererte oppsummeringer av instruksjoner med og uten modifikatorer, og resultateneindikerer at finjustering av instruksjoner med modifikatorer bør gjøres for individuelleinstruksjoner og ikke på en oppgave-til-oppgave basis. I tillegg, viser resultatene at instruk-sjonsmodifikatorer er nyttige når oppsummeringer i spesifikke formater skal genereres avstore språkmodeller, ettersom spesifikke instruksjoner lykkes i over 90% av tilfellene. Summarizing large chunks of information into a more concise and easily digestible formis a valuable skill in the data-driven world of today. Automated tools that can performthis Natural Language Processing task well are rapidly improving. One such tool is theLarge Language Model, which is receiving a lot of attention in the current (2023) techindustry and AI research field, much due to its output quality and versatility. Thoth,a Singapore-based startup company capitalizing on this development, will incorporatethe text summarization capabilities of OpenAI’s industry-leading language models intoa product that automatically generates information graphics based on content from asingle input document. The input document is required by Thoth to be summarizedinto a specific three-by-three subheading and bullet point format. To maximize theformat-specific text summarization performance of their chosen LLM, the goal of thisThesis, there is a need for finding natural language input prompts that lead to high-qualitysummaries satisfying Thoth’s demands. This is accomplished through a series of modifier-focused prompt engineering experiments in which prompt patterns are benchmarkedand the effects of prompt modifier presence are investigated. With evaluation scoresgenerated by a collection of automatic metrics and hired crowd-evaluators, the experimentresults show negative and positive performance that fluctuates from prompt to prompt,indicating that modifier selection should be done for individual prompts, and not on ageneral task-to-task basis. Modifiers are also shown to be well-suited for customizing theoutput format of summaries, with certain prompts successfully adhering to the format inover 90% of cases.