Prompt Engineering with Modifiers

Abstract

Å kunne korte ned større mengder informasjon, og samtidig bevare essentielle fakta og budskap, er verdifullt i dagens datadrevne verden. I tråd med den sterke generelle fremgangen innen prosessering av naturlig språk på 2010- og 2020-tallet, har språkprosse- seringsverktøy som kan utføre automatisk oppsummering av tekst blitt stadig bedre. Store språkmodeller (LLMs) har fått særlig mye oppmerksomhet pga. deres allsidighet og evne til å formulere tekst av høy kvalitet. Thoth, en oppstartsbedrift basert i Singapore, ønsker å utnytte OpenAIs ledende språkmodeller i et produkt som automatisk genererer informasjonsgrafikk basert på informasjonen i ett inputdokument. Dette inputdokumentet skal formidles gjennom Thoths tre-ganger-tre-format, hvor oppsummeringer må bestå av tre underoverskrifter med hver sine tre underpunkter. For å maksimere kvaliteten av disse format-spesifikke oppsummeringene, målet for denne masteroppgaven, må det utvikles passende instruksjoner som er i stand til å rettlede modellen. Det er derfor gjennomført en rekke modifikatorsentrerte instruksjonsutviklingseksperimenter, som er evaluert både med en samling automatiske metrikker og av frilansskribenter. Eksperimentene sammenlikner genererte oppsummeringer av instruksjoner med og uten modifikatorer, og resultatene indikerer at finjustering av instruksjoner med modifikatorer bør gjøres for individuelle instruksjoner og ikke på en oppgave-til-oppgave basis. I tillegg, viser resultatene at instruk- sjonsmodifikatorer er nyttige når oppsummeringer i spesifikke formater skal genereres av store språkmodeller, ettersom spesifikke instruksjoner lykkes i over 90% av tilfellene.

Summarizing large chunks of information into a more concise and easily digestible form is a valuable skill in the data-driven world of today. Automated tools that can perform this Natural Language Processing task well are rapidly improving. One such tool is the Large Language Model, which is receiving a lot of attention in the current (2023) tech industry and AI research field, much due to its output quality and versatility. Thoth, a Singapore-based startup company capitalizing on this development, will incorporate the text summarization capabilities of OpenAI’s industry-leading language models into a product that automatically generates information graphics based on content from a single input document. The input document is required by Thoth to be summarized into a specific three-by-three subheading and bullet point format. To maximize the format-specific text summarization performance of their chosen LLM, the goal of this Thesis, there is a need for finding natural language input prompts that lead to high-quality summaries satisfying Thoth’s demands. This is accomplished through a series of modifier- focused prompt engineering experiments in which prompt patterns are benchmarked and the effects of prompt modifier presence are investigated. With evaluation scores generated by a collection of automatic metrics and hired crowd-evaluators, the experiment results show negative and positive performance that fluctuates from prompt to prompt, indicating that modifier selection should be done for individual prompts, and not on a general task-to-task basis. Modifiers are also shown to be well-suited for customizing the output format of summaries, with certain prompts successfully adhering to the format in over 90% of cases.