| dc.description.abstract | Denne oppgaven vurderer modellen med navn Recurrent Neural Network with Parametric Biases (RNNPB) og anvender den til maskinoversetting. Modellen gjør det mulig å representere flere sekvenser med ett enkelt RNN ved å assosiere hver enkel sekvens med en spesifikk aktivering av PB nodene, som er plassert i input-laget til nettverket. I hovedsak kan PB nodene anses som kodinger av sekvensene. Dette muliggjør en toveis oversetting hvor man enten kan oversette fra PB noder til sekvenser, eller i invers retning, fra sekvenser til PB noder.
Denne modellen har blant annet blitt brukt i forsøk der to modeller knyttes sammen ved å binde PB nodene deres. Slik oppnår man at sekvens-representasjonene for de to modellene pares, noe som muliggjør sekvens-til-sekvens oversettelse. Konseptet likner ideen bak Encoder-Decoder-modeller, som har vært svært suksessfulle innenfor maskinoversettingsfeltet. For å lage en oversettelse regnes først en representasjon av setningen på kildespråket ut i encoder-modellen, og deretter dekodes representasjonen til en setning på målspråket i decoder-modellen.
Tradisjonelt har RNNPB-modellen blitt brukt i forsøk med roboter for å representere motorprogrammer, og anvendelsen til maskinoversettelse er derfor ny. En av de interessante egenskapene til dette arbeidet, som i prinsippet innebærer å binde sammen to språkmodeller, er at RNNPB-modellene teoretisk sett også kan dra nytte av enkeltspråkelige datasett. Denne egenskaper er svært ettertraktet innenfor maskinoversettingsfeltet, ettersom parallelle datasett ikke finnes for alle språk. Inneværende oppgave tar utgangspunkt i en forholdsvis enkel modell, tradisjonelt brukt i forsøk av liten målestokk, og oppdaterer den til å benytte nyvinninger innenfor maskinlæringsfeltet, slik som LSTM og regularisering. Dermed kan modellen benyttes i forsøk av stor målestokk her. Gjennom forsøk med autoencoding med engelsk språk viser denne oppgaven at modellen kan representere språk godt og lære autoencoding med store målestokk. Imidlertid er ikke forsøkene gjort her i stand til å oppnå oversettelse fra engelsk til tysk med høy nøyaktighet. | |
| dc.description.abstract | This thesis considers the Recurrent Neural Network with Parametric Biases (RNNPB) model and applies it to the task of machine translation. The RNNPB model allows encoding multiple sequences in a single RNN by associating each sequence with a particular activation of the parametric bias nodes, which are placed in the input layer. Essentially, the parametric biases can be considered as sequence embeddings. Thus, a bidirectional mapping is achieved where parametric biases map to the complete sequences, as well as the inverse mapping where parametric biases are computed from a provided sequence.
One of the applications of this model has been with binding together the parametric biases of two separate models. By coupling the sequence representations of the two models, sequence to sequence mapping can be achieved. The concept is similar to the Encoder-Decoder model which has enjoyed much success in the Neural Machine Translation field. In order to make a translation, first a representation of the source sentence is computed in the encoder, and secondly, the decoder decodes this representation into the target sequence.
Traditionally, the RNNPB model has been used in robotic applications to represent motor programs, and the application in machine translation is therefore new. One of the interesting properties of this work, which essentially entails binding two language models together, is that the two models can theoretically benefit from monolingual data, which is a desirable trait in the NMT field. The present work takes a simple model, traditionally used in small-scale experiments, and refurnishes it with modern machine learning advances, such as LSTM layers and regularization, and applies it to large-scale tasks. Through experiments with autoencoding in English, the present work shows that the RNNPB model can model language and learn to autoencode on a large scale. However, for experiments with translation from English to German, the present work is not able to achieve high translation performance. | |
