Emotions don't lie: A multimodal approach to Personality Prediction

Abstract

Å oppdage de riktige jobbsøkerne som passer med stillingsbeskrivelsen er avgjør-ende for organisasjonene sin suksess og vekst. Siden personligheten til kandidater er en akseptert indikator på jobbprestasjon, jobbtilfredshet og ansettelsesintensjon, vil det å trekke ut disse adferdstrekkene i screeningprosessen hjelpe arbeidsgivere i å ta fornuftige ansettelsesbeslutninger. Konstruksjonen av personlighet er kompleks, og forskere har i flere tiår forsøkt å etablere taksonomier for å skille og navngi individuelle forskjeller i menneskers oppførsel og erfaring. En av de mest aksepterte personlighetsteoriene er Big Five personlighetsmodellen, også kjent som Femfaktormodellen. Disse fem dimensjonene (åpenhet, planmessighet, ekstroversjon, medmenneskelighet, nevrotisisme) utgjør strukturen av personlighet.

Med den store økningen av sosiale medier deler personer følelser og meninger i form av videoer i stedet for ren tekst. Derfor har multimodal sentiment analysis (MSA) blitt et populært forskningsfelt. MSA benytter Deep Learning (DL)i flere stadier som for eksempel multimodal feature extraction, fusion og emotion recognition i multimodal data. MSA kan hjelpe arbeidsgivere i et video intervju med å observere uttrykte følelser fra kandidater. Dette er verdifullt siden forskere har demonstrert at det er en sterk forbindelse mellom personlighetstrekk og følelser.

Hensikten med denne studien er å undersøke hvordan MSA kan benyttes til å predikere personlighetstrekk basert på Femfaktormodellen i asynkrone video intervju (AVI). En multimodal feature extraction pipeline er utviklet for å hente ut lyd, bilde, og tekstinformasjon i en video. Et privat AVI datasett er samlet inn fra deltakere innenfor informatikk domenet. DL modeller er brukt for å estimere følelsesfordelingen i intervjuer og en personlighet-prediksjonsmodell er laget for å forutsi personlighetstrekkene hos kandidater.

Resultatene viser at personlighet-prediksjonsmodellen oppnår 66.7% nøyaktighet i å predikere de tre sterkeste trekkene. Bruken av Big Five personlighetstest viser en unik og ny måte å validere prediksjonsmodellen. MSA viser et godt potensial og kan bli brukt for å forutsi personlighetstrekk. I fremtiden er det behov for større, sammenlignbare studier før denne metoden kan benyttes av arbeidsgivere.

Discovering the appropriate applicants who fit with the job description is imperative for the organizations' success and growth. As people's personality is an accepted indicator of job performance, extracting these behavioral traits in the screening process will aid the hiring managers making sound employment decisions. Personality is a complex construct and researchers have for decades attempted to establish taxonomies for distinguishing, ordering, and naming individual differences in people's behavior and experience. One of the most accepted personality theories is the Big Five personality model, also known as the Five-Factor model. These five dimensions (openness, conscientiousness, extraversion, agreeableness, neuroticism) outline the structure of human personality.

With the proliferation of social media, people share their ideas, feelings, and opinions in form of videos instead of pure text. Hence, multimodal sentiment analysis (MSA) has emerged as a new research field. MSA utilizes Deep Learning (DL) at several stages including multimodal feature extraction, fusion, and emotion recognition in multimodal data, including acoustic, textual, and visual channels. MSA can assist recruiters during video interviews to monitor the applicant's expressed emotions, as researchers have demonstrated that there is a strong link between personality traits and emotions.

The purpose of this Master's thesis research is to investigate how MSA can assist predicting personality traits based on the Big Five model in asynchronous video interviews (AVIs). A multimodal feature extraction pipeline is developed to extract audio, visual, and textual features in a video. A private AVI dataset is collected from participants within the informatics domain. DL models are used for estimating the emotion distribution in interviews and a personality likelihood approach is proposed to predict behavioral traits in candidates.

Results show that the personality likelihood model achieves 66.7% accuracy in prediction the three strongest traits. The use of Big Five personality test shows a unique and novel way of validating the personality prediction model on emotions extracted from candidates. MSA shows promising potential and can be used for personality prediction. Larger, comparative studies need to be performed before this method can be used by recruiters.