Predicting Personality in Job Interviews By leveraging Emotion Recognition from Multi-Modal Sentiment Analysis Models

Abstract

Den økende bruken av digitale intervjuer i ansettelsesprosessen har akselerert forskning på metoder som kan forbedre deres effektivitet. Rekrutterere benytter seg av AI-metoder for å få en dypere forståelse av kandidater og ta mer informerte beslutninger. Å analysere enkeltpersoner i et jobbintervju krever vurdering av flere aspekter ved intervjuobjektets uttrykk, inkludert ansiktsuttrykk, tone og intonasjon i tale, og valg av ord som brukes. Gitt naturen av jobbintervjuer, kan Multi-modal Sentiment Analysis (MSA) ha stort potensial når man analyserer kandidaters multimodale uttrykk. De siste årene har MSA-feltet opplevd betydelig fremgang i utviklingen av modeller som forbedrer nøyaktigheten og presisjonen for emosjonsprediksjon.

Ved å utnytte fremskrittene innenfor MSA-feltet, har denne masteroppgaven som mål å forbedre den digitale intervju prosessen ved å integrere MSA-basert emosjonsprediksjon i et rammeverk for personlighetsprediksjon. Videre søker denne forskningen å etablere en sammenheng mellom de uttrykte følelsene under videointervjuer og The Big Five personlighetstrekkene.

For å oppnå disse målene ble det generert et videointervjudatasett for å gjennomføre eksperimenter for personlighetsprediksjon. Det ble opprettet prosesser for å trekke ut relevant multimodal data fra det genererte datasettet. Denne dataen blir deretter matet til den state-of-the-art MSA-modellen som brukes til å predikere følelser uttrykt av kandidatene under intervjuet. For å utføre personlighetsprediksjon, foreslår vi en kobling mellom personlighetstrekk og følelser basert på tidligere forskning. Ved å bruke følelsene predikert av MSA-modellen, utnytter vi den foreslåtte koblingen mellom følelser og personlighetstrekk for å predikere kandidatenes personlighetstrekk.

De oppnådde resultatene illustrerer at det kan etableres en forbindelse mellom følelser og The Big Five personlighetstrekkene. Denne observerte sammenhengen kan bidra til analysen av kandidatenes psykologiske aspekter. Vi har produsert et nytt rammeverk for personlighetsprediksjon basert på emosjonsprediksjoner gjort av MSA-modeller. Dette rammeverket demonstrerer gjennomførbarheten av personlighetsprediksjon ved bruk av MSA-modeller, ved å oppnå en nøyaktighet på 62.5% på det genererte datasettet.

The increasing use of digital interviews in the hiring process has expedited research into methods that can enhance their effectiveness. Recruiters are employing AI methods to gain a deeper understanding of participants and make more informed decisions. Analyzing individuals in a job interview requires the consideration of several aspects of an interviewee’s expression, including facial expressions, tone and modulation of speech, and the choice of words used. Given the nature of job interviews, Multi-modal Sentiment Analysis (MSA) may have a strong potential when analyzing the multi-modal expressions of candidates. Notably, the field of Multi-modal Sentiment Analysis has witnessed remarkable progress in producing models which have enhanced the accuracy and precision of emotion prediction.

Utilizing the advancement in the field of MSA, this thesis aims to enhance the digital interview process by integrating AI-based emotion prediction, particularly MSA models, into a personality prediction framework. Moreover, this research seeks to establish a correlation between the emotions expressed during video interviews and The Big Five personality traits.

To achieve these goals, a video interview dataset was generated to conduct personality prediction experiments. A feature extraction pipeline is created to extract the relevant multi-modal data from the generated dataset. This data is then fed to the state-of-the-art MSA model employed to predict the emotions exhibited by candidates during the interview. To conduct personality prediction, we propose a connection between traits and emotions based on previous research in the field. By using the emotions predicted by the MSA model, we employ the proposed emotion-trait link to predict the personality traits of candidates.

The achieved results illustrate that a link between emotions and The Big Five personality traits can be established. This observed relationship can aid in the analysis of candidates’ psychological aspects. We proposed a novel personality prediction framework based on emotion predictions made by MSA models. This model demonstrates the feasibility of personality prediction using MSA models by achieving an accuracy of 62.5% on the generated dataset.