Combining question answering models with transformer-based generative conversational agents

Abstract

Spørsmålssvar (QA) er oppgaven innenfor feltet naturlig språkbehandling (NLP) som har til hensikt å implementere systemer (dvs. kunstig intelligensmodeller) som er dyktige til å svare på spørsmål formulert av mennesker ved hjelp av et naturlig språk. På den annen side er transformatorbaserte generative samtaleagenter opplært til å generere tekst på egen hånd i stedet for å tegne den ut. Mens det førstnevnte systemet tar sikte på å svare på faktaspørsmål (spørsmål hvis svar kan finnes allerede skrevet i en ressurs), prøver sistnevnte å delta i dialoger som er mer menneskelignende.

Det er et vanlig problem for en bruker å støte på avvik når de stiller spørsmål som kan ha forskjellige intensjoner og forvente en viss type respons fra samtaleagenten. Siden begge typer systemer gir en annen samtaleopplevelse, foreslår denne oppgaven en måte å kombinere en QA-modell som BERT (som har blitt finjustert), med en transformatorbasert generativ samtaleagent som den er DialoGPT, ved å introdusere en spørring klassifiserer i som kan videresende spørsmålet til den modellen som er best egnet til å gi et svar.

Hovedresultatene viser at når man kombinerer de to modellene, økes den samlede F1-poengsummen med 4,93% sammenlignet med den beste poengsummen oppnådd når man kun bruker modellene separat for å svare på alle typer spørsmål. For å assosiere de to tilnærmingene ble tre forskjellige spørringsklassifiserere testet ut: Naive Bayes, Support Vector Machine og Random Forest. Support Vector Machine-algoritmen viste seg å yte best ved å oppnå en F1-score på 20,79%, i motsetning til 15,86% og 11,08% fra tilfellet der kun henholdsvis BERT og DialoGPT er ansatt.

Question answering (QA) is the task within the field of natural language processing (NLP) that intends the implementation of systems (i.e., artificial intelligence models) skilled to answer questions formulated by humans using a natural language. On the other hand, transformer-based generative conversational agents are trained to generate text on their own rather than drawing it out. While the former system aims to answer factoid questions (questions whose response may be found already written in a resource), the latter attempts to engage in dialogues that are more human-like.

It is a common issue for a user to encounter discrepancies when asking questions that may have different intentions and expect certain type of response from the conversational agent at hand. Since both type of systems provide a different conversational experience, this thesis proposes a way to combine a QA model such as BERT (that has been fine-tuned), with a transformer-based generative conversational agent as it is DialoGPT, by introducing a query classifier in that can forward the question to the model that is best suited to provide an answer.

The main results show that when combining the two models the overall F1 score gets increased by 4.93% in comparison with the best score achieved when only using the models separately to answer all types of questions. In order to associate the two approaches, three different query classifier were tested out: Naive Bayes, Support Vector Machine, and Random Forest. The Support Vector Machine algorithm showed to perform the best by attaining an F1 score of 20.79%, in contrast with 15.86% and 11.08% from the case in which only BERT and DialoGPT are employed, respectively.