| dc.description.abstract | De nyeste og mest avanserte forhåndstrente språkmodellene med oppmerksomhetsbaserte dyp-læring-teknikker har revolusjonert feltet for språkteknologi. Slike språkmodeller har vist seg å være svært suksessfulle på en rekke oppgaver innen intelligent tekstanalyse og språkforståelse. Til tross for denne suksessen er det fortsatt mange aspekter tilknyttet disse modellene som må utforskes nærmere. Det også en økende interesse for personlig tilpasset språkgenerering. Derfor er formålet med denne studien å kombinere personlighetspsykologi med forhåndstrente språkmodeller for å generere korte tekster rettet mot sosiale medier, som er ment å etterligne skrivestilen til gitte personlighetstrekk, aldre og kjønn.
Denne studien sammenligner prestasjonen til to ulike avanserte språkmodeller når det gjelder å generere personlig tilpasset språk. Modellene er henholdsvis en autoregressiv modell og en autoencoder modell. Det som skiller dem fra hverandre er hvordan de er forhåndstrent for å lære seg representasjonen av språk. Autoregressive modeller er trent opp ved å lære sammenhenger mellom hvilke ord som ofte etterfølger hverandre. På den andre siden lærer de autoencodede modeller seg språkrepresentasjon ved å gjentatte ganger bli eksponert for tekster hvor enkelte ord er plukket ut og hvor modellen da blir bedt om å sette inn passende ord i hullene.
Dette er den første studien som sammenligner flere forhåndstrente språkmodeller med oppmerksomhetsbaserte dyp-læring-teknikker på generering av personlig tilpasset naturlig språk. Det er også den første studien innen personlig tilpasset språkgenerering som benytter femfaktormodellen for å representere personlighet.
Resultatene tilsier at autoregressive modeller er bedre enn autoencoder-modeller for personlig tilpasset språkgenerering. Den autoregressive modellen oppnådde bedre resultater både med hensyn til å generere grammatisk korrekt tekst og tekst som gir mening. Samtidig evner den autoregressive modellen også å generere tekster som bevarer karakteristikker for spesifikke personlighetstrekk, aldre og kjønn.
Til tross for dette er det en stor mangel på formålstjenlige metoder for å evaluere personlig tilpasset generert språk. Det medfører en betydelig ulempe innen feltet da det gjør det svært utfordrende å sammenligne resultater på tvers av studier ettersom man ikke er enige om hvilke metoder som bør benyttes for å måle prestasjoner. Denne studien foreslår og benytter en evalueringsprosedyre som er basert på suksesser innen automatisk prediksjon av personlighet og forfatteridentifisering.
Forskningen som er gjennomført er det første steget mot personlig tilpasset språkgenerering, som igjen er grunnlaget for intelligente, personlige tilpassede skriveassistenter. Denne studien er gjort på tekst fra sosiale medier, men personlig tilpasset språkgenerering kan overføres til alle domener. | |
| dc.description.abstract | State-of-the-art language models with attention mechanisms, transformers, have revolutionized the field of natural language processing due to their demonstrated success within a variety of tasks. However, there are still numerous aspects to explore concerning the generation of natural language using transformers. At the same time, personalized open-ended natural language generation is attracting widespread interest. Hence, this thesis aims to combine personality psychology with state-of-the-art transformers to generate personalized open-ended short text for social media based on a fictive author's personality, age, and gender.
Two different transformers are compared on the task of personalized natural language generation, an autoregressive model and an autoencoding model, differing in their training procedures for learning language representations. Autoregressive models are trained by learning connections between which words often follow each other in sequences of text. On the other hand, autoencoder models learn language representation by repeatedly being exposed to texts where certain words are missing and then asked to figure out suitable words to fill the gaps.
This study is the first to compare several state-of-the-art transformers on the task of generating personalized natural language. It is also the first study applying the Big Five personality model to personalized natural language generation.
The results show that autoregressive language models are far more suitable for personalized natural language generation than autoencoding models. The autoregressive model obtains better results concerning fluency and coherence in generated texts and preserves characteristics of personality, age, and gender.
Notwithstanding, a lack of suitable automatic evaluation metrics is a significant drawback within the field of personalized natural language generation. No standard metrics are established, hindering comparable results and continuous development in the area. This study proposes and employs an automatic evaluation procedure based on the success of automatic personality prediction and author profiling.
This research is the first step towards enhanced personalized natural language generation, which is the foundation for obtaining extensive personal writing assistance in a wide range of domains. | |
