dc.contributor.advisor | Gambäck, Björn | |
dc.contributor.author | Ommundsen, Erlend Marius | |
dc.date.accessioned | 2024-01-21T18:19:37Z | |
dc.date.available | 2024-01-21T18:19:37Z | |
dc.date.issued | 2023 | |
dc.identifier | no.ntnu:inspera:145904930:35330853 | |
dc.identifier.uri | https://hdl.handle.net/11250/3112903 | |
dc.description | Full text not available | |
dc.description.abstract | Å kunne korte ned større mengder informasjon, og samtidig bevare essentielle fakta
og budskap, er verdifullt i dagens datadrevne verden. I tråd med den sterke generelle
fremgangen innen prosessering av naturlig språk på 2010- og 2020-tallet, har språkprosse-
seringsverktøy som kan utføre automatisk oppsummering av tekst blitt stadig bedre.
Store språkmodeller (LLMs) har fått særlig mye oppmerksomhet pga. deres allsidighet og
evne til å formulere tekst av høy kvalitet. Thoth, en oppstartsbedrift basert i Singapore,
ønsker å utnytte OpenAIs ledende språkmodeller i et produkt som automatisk genererer
informasjonsgrafikk basert på informasjonen i ett inputdokument. Dette inputdokumentet
skal formidles gjennom Thoths tre-ganger-tre-format, hvor oppsummeringer må bestå av
tre underoverskrifter med hver sine tre underpunkter. For å maksimere kvaliteten av disse
format-spesifikke oppsummeringene, målet for denne masteroppgaven, må det utvikles
passende instruksjoner som er i stand til å rettlede modellen. Det er derfor gjennomført en
rekke modifikatorsentrerte instruksjonsutviklingseksperimenter, som er evaluert både med
en samling automatiske metrikker og av frilansskribenter. Eksperimentene sammenlikner
genererte oppsummeringer av instruksjoner med og uten modifikatorer, og resultatene
indikerer at finjustering av instruksjoner med modifikatorer bør gjøres for individuelle
instruksjoner og ikke på en oppgave-til-oppgave basis. I tillegg, viser resultatene at instruk-
sjonsmodifikatorer er nyttige når oppsummeringer i spesifikke formater skal genereres av
store språkmodeller, ettersom spesifikke instruksjoner lykkes i over 90% av tilfellene. | |
dc.description.abstract | Summarizing large chunks of information into a more concise and easily digestible form
is a valuable skill in the data-driven world of today. Automated tools that can perform
this Natural Language Processing task well are rapidly improving. One such tool is the
Large Language Model, which is receiving a lot of attention in the current (2023) tech
industry and AI research field, much due to its output quality and versatility. Thoth,
a Singapore-based startup company capitalizing on this development, will incorporate
the text summarization capabilities of OpenAI’s industry-leading language models into
a product that automatically generates information graphics based on content from a
single input document. The input document is required by Thoth to be summarized
into a specific three-by-three subheading and bullet point format. To maximize the
format-specific text summarization performance of their chosen LLM, the goal of this
Thesis, there is a need for finding natural language input prompts that lead to high-quality
summaries satisfying Thoth’s demands. This is accomplished through a series of modifier-
focused prompt engineering experiments in which prompt patterns are benchmarked
and the effects of prompt modifier presence are investigated. With evaluation scores
generated by a collection of automatic metrics and hired crowd-evaluators, the experiment
results show negative and positive performance that fluctuates from prompt to prompt,
indicating that modifier selection should be done for individual prompts, and not on a
general task-to-task basis. Modifiers are also shown to be well-suited for customizing the
output format of summaries, with certain prompts successfully adhering to the format in
over 90% of cases. | |
dc.language | eng | |
dc.publisher | NTNU | |
dc.title | Prompt Engineering with Modifiers | |
dc.type | Master thesis | |