Supervised Pre-training for Dialogue Act Classification in Task-oriented Dialogue

Abstract

I de siste årene har dialogsystemer, hvor en bruker kan lede en samtale med en agent i naturlig språk, blitt allestedsnærværende gjennom smarttelefoner, smarte høytalere, og kundeservice. Dialogue act klassifisering, som omhandler å gjenkjenne funksjonen en ytring formidler, er en viktig del av modulen som prøver å forstå naturlig språk i oppgaveorienterte dialogsystemer, hvor systemet hjelper en bruker å utføre en oppgave. God utførelse av dialogue act klassifisering er kritisk for ytelsen til det oppgaveorienterte dialogsystemet.

Moderne metoder finjusterer ofte språkmodeller som er pre-trent på en semi-veiledet måte med store mengder data som ikke har tilhørende utgangsverdier. Denne pre-treningen oppnår en generell språkforståelse, men lar ofte oppgavespesifikke trekk være for å bli lært under finjustering, som kan være vanskelig med begrenset tilgang på data. Vi foreslår å utføre oppgavespesifikk veiledet pre-trening med flere forente datasett for å lære oppgavespesifikke trekk før vi gjør datasettspesifikk finjustering. Vi forener settene av utgangsverdier til oppgaveorienterte dialogue act datasett slik at de følger et universalt skjema. Videre implementerer vi pre-trening- og finjusterings-arkitekturer og gjør eksperimentelle sammenligninger. Resultater viser at modeller pre-trent på en veiledet måte ofte leder til bedre ytelse enn det ikke pre-trente modeller kan oppnå. De største forbedringene i ytelse finner vi når mengden treningsdata for finjustering er begrenset, som indikerer at metoden vår er effektiv for dialogue act klassifisering når mengden treningsdata tilgjengelig er begrenset.

In recent years dialogue systems, where a user can converse with an agent in natural language, have become ubiquitous through smartphones, smart speakers, and customer service. Dialogue act classification, the task of detecting the function of an utterance, is an important part of the natural language understanding module in task-oriented dialogue systems, where the system helps a user perform a task. Executing the task of dialogue act classification well is critical for the performance of the task-oriented dialogue system.

State-of-the-art approaches often fine-tune language models that have been pre-trained in a semi-supervised fashion with large amounts of unlabeled data. This pre-training gives a general language understanding, but usually leaves task-specific features to be learned during fine-tuning, which may be difficult if there is little data available. We propose performing task-specific supervised pre-training with several unified datasets to learn task-specific features before performing dataset-specific fine-tuning. We unify the label sets of task-oriented dialogue act datasets to a universal schema, implement pre-training and fine-tuning architectures, and make experimental comparisons. We find that models pre-trained in a supervised fashion often lead to better performance than the same non pre-trained models. The largest improvements are found when limited data is available for fine-tuning, indicating that this is a viable approach for dialogue act classification when there is limited data available.