Using Masking and Location for Preposition SuperSense Detection

Abstract

Oppgaven fokuserer på hvordan bruk av plassering og maskering hjelper med å forbedre funnet av preposisjoner supersans. Oppgaven bygger en modell ved bruk av Keras og TensorFlow for å oppdage supersanser og bruker en forhåndsutdannet ALBERT-modell og en forhåndsøvd RoBERTa-innebygd.Resultatet viser hvordan myk maskering forbedrer modellen, mens hard maskering ikke gjør det. Det viser også hvordan plasseringen kan forbedre modellen og tillate en annen type modell enn det som er der ute.

The thesis focus on how the use of location and masking helps improve the finding of prepositions supersenses. The thesis builds a model using Keras and TensorFlow to detect supersenses and uses a pre-trained ALBERT model and a pretrained RoBERTa embedder. The result shows how soft masking improves the model, while hard masking does not. It also shows how the location can improve the model and allow for a different type of model to what's out there.