Exploring the Viability of Multilingual Zero-shot Neural Document Retrieval

Abstract

Med den raske framgangen som har vært i dyp læring har man sett store steg innen flere informatikkfelt. Til tross for dette har man ikke før nylig sett vellykket bruk av dyp læring innen informasjonsgjennfinning (IR). De store søkemotorselskapene har begynt å ta i bruk nevrale metoder til søk, men problemet er at de sitter med et monopol på store datasett med ikke-engelsk annotert data. Dette gjør det nødvendig å utvikle metoder innenfor IR som kan gjøre det bra uten annotert data (zero-shot) og uansett språk, slik at man kan heve nivået på IR-systemer for alle. Denne oppgaven utforsker feltet nevral informasjonsgjenfinning og potensialet til flerspråklig nevrale modeller for søk, uten bruk av annotert data. Utvalgte modeller er testet på Text REtrieval Conference (TREC) Spanish datasettet for å evaluere deres potensial.

Resultatene viser at for flerspråklig zero-shot informasjonsgjennfinning er det viktigste å trene på så mye engelsk annotert data som mulig, og bli god på informasjonsgjennfinningsdelen før man overfører det man har lært til nye språk. Bruk av flerspråklig modeller øker ytelsen i forhold til engelskpråklige modeller. Å gi modeller mulighet til å se på større deler av dokumentet om gangen er også en fordel. Den beste modellen som er testet bruker en flerspråklig versjon av BERT (Bidirectional Encoder Representations from Transformers) trent på Microsoft Machine Reading Comprehension (MS MARCO) passage retrieval datasettet. Den får et resultat som er 11% bedre enn tidligere state-of-the-art på TREC Spanish, med en nDCG@20 (Normalized Discounted Cumulative Gain på topp 20 hentede dokumenter) score på 0.739.

En begrensning med vanlige Transformer-modeller slik som BERT er deres manglede evne til å se på hele dokumentet på en gang fordi de har restriksjoner på sekvenslengden. Innenfor nevral IR har effektive Transformere, laget spesielt for å håndtere lengre sekvenser, til nå ikke vært utforsket. I denne rapporten utforskes to effektive Transformer-arkitekturer (BigBird og Longformer), med resultat som er sammenlignbart med tidligere state-of-the-art.

With the fast progress of deep learning, major strides have been made in many fields of computer science. However, until recently, neural retrieval methods have struggled to see success beyond that of methods developed in the 1990s. Large search companies have recently started applying neural retrieval to their search, but they currently have a monopoly on datasets containing large amounts of non-English labeled data. This makes it necessary to develop retrieval methods that can perform well without seeing labeled data (zero-shot) regardless of language, to elevate retrieval performance for everyone. This Thesis explores the field of neural information retrieval (IR), and the potential for application of these neural models in multilingual and zero-shot settings. Select models are tested on the Text REtrieval Conference (TREC) Spanish dataset in a zero-shot fashion to evaluate their potential.

Results show that for multilingual zero-shot retrieval, the most important aspect is pre-training as much as possible on data with labeled relevance and getting good at the ranking task before transferring to new languages. Using a multilingual model provides a boost in performance, and increasing input length also has positive effects for document-level retrieval. The best model tested uses a multilingual BERT (Bidirectional Encoder Representations from Transformers) model trained on the Microsoft Machine Reading Comprehension (MS MARCO) passage retrieval dataset, and displays an 11% increase over previous state-of-the-art results on TREC Spanish by achieving an nDCG@20 (Normalized Discounted Cumulative Gain of the top 20 retrieved documents) of 0.739.

A limitation of typical Transformers such as BERT is their inability to view the entire document at once due to length restrictions. In neural IR, the use of efficient Transformers, designed specifically for handling longer sequences, has thus far remained unexplored. In this Thesis, two efficient Transformer architectures (BigBird and Longformer) are tested, with comparable results to the previous state-of-the-art.