• norsk
    • English
  • English 
    • norsk
    • English
  • Login
View Item 
  •   Home
  • Fakultet for informasjonsteknologi og elektroteknikk (IE)
  • Institutt for informasjonssikkerhet og kommunikasjonsteknologi
  • View Item
  •   Home
  • Fakultet for informasjonsteknologi og elektroteknikk (IE)
  • Institutt for informasjonssikkerhet og kommunikasjonsteknologi
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

Differentially private named entity recognition model development

Torsvik, Jakob Martin
Master thesis
Thumbnail
View/Open
no.ntnu:inspera:238079456:47650062.pdf (8.657Mb)
URI
https://hdl.handle.net/11250/3155871
Date
2024
Metadata
Show full item record
Collections
  • Institutt for informasjonssikkerhet og kommunikasjonsteknologi [2777]
Abstract
Omfanget av tekst behandling har tatt et sprang de siste årene med fremskritt innen naturlig språkbehandling (NLP), spesielt på grunn av fremveksten av transformer-baserte modeller som BERT og GPT. Verktøy fra NLP-feltet blir nå anvendt innen ulike områder som ofte involverer håndtering av sensitiv informasjon, noe som gjør personvernhensyn avgjørende under implementeringen av disse teknologiene. Modeller basert på transformer-arkitekturen har visse personvernrisikoer ettersom de utilsiktet kan lekke sensitiv data fra sine treningssett. I denne masteroppgaven utforsker vi differensielt privat (DP) finjustering av disse modellene på NLP-oppgaven Named Entity Recognition (NER).

Vår forskning har som mål å implementere og evaluere effektiviteten av DP-mekanismer i transformer-baserte NER-modeller med mål om å oppnå en balanse mellom nytte og personvern. Ved å ta i bruk eksisterende rammeverk implementerer vi algoritmen Differentially Private Stochastic Gradient Descent (DP-SGD) for å finjustere ulike modeller fra BERT-familien på offentlig tilgjengelige datasett. Vi finner først de best ytende konfigurasjonene av hyperparametere gjennom hyperparameteroptimalisering (HPO). Deretter trener vi modellene med ulike kombinasjoner av hyperparametere og personvernparametere for å undersøke hvordan de påvirker ytelsen til modellene.

Våre funn indikerer at akseptable ytelsesnivåer kan oppnås med DP, spesielt i mindre modeller og med mindre komplekse datasett. Mer spesifikt, når vi finjusterte DistilBERT med et lite personvernbudjsett ϵ=1, oppnådde modellen omtrent 90% av F1-scoren den fikk da den ble finjustert uten DP. Imidlertid er ytelsen til differensielt private modeller svært følsom for valg av hyperparametere og DP-konfigurasjon. Derfor er nøye justering av disse innstillingene nødvendig for å sikre en rimelig avveining av personvern og nytte. Vårt arbeid bidrar til feltet ved å praktisk demonstrere hvordan DP kan implementeres i transformer-baserte NER-modeller, samt belyse utfordringene og hensynene som følger med.
 
The scale of textual data processing has taken a leap in recent years with advancements in natural language processing (NLP), specifically due to the advent of transformer-based models like BERT and GPT. Tools from the field of NLP are being applied in various areas, often handling sensitive information, rendering privacy considerations paramount during the implementation of these technologies. Models based on the transformer architecture pose privacy risks as they can inadvertently leak sensitive data from their training sets. In this thesis we explore differentially private (DP) fine-tuning of these models on the task of Named Entity Recognition (NER).

Our research aims to implement and evaluate the effectiveness of DP mechanisms in transformer-based NER models with a goal of maintaining an optimal balance between utility and privacy. Using existing frameworks, we implement the Differentially Private Stochastic Gradient Descent (DP-SGD) algorithm to fine-tune various models from the BERT family on publicly available datasets. We first find the best performing configurations of hyperparameters through hyperparameter optimization (HPO). Then we train the models using different combinations of hyperparameters and privacy parameters to study how they affect the performance of the models.

Our findings indicate that acceptable performance levels can be achieved with DP, particularly in smaller models and on less complex datasets. Specifically, when fine-tuning DistilBERT with a small privacy budget ϵ=1 the model achieved approximately 90% of the F1-score it got when fine-tuned without DP. However, the performance of differentially private models is highly sensitive to the choice of hyperparameters and DP configuration. Therefore, careful tuning of these settings is necessary in order to ensure a reasonable trade-off between privacy and utility. This work contributes to the field by practically demonstrating how DP can be implemented in transformer-based NER models, as well as highlighting the challenges and considerations that comes with the task.
 
Publisher
NTNU

Contact Us | Send Feedback

Privacy policy
DSpace software copyright © 2002-2019  DuraSpace

Service from  Unit
 

 

Browse

ArchiveCommunities & CollectionsBy Issue DateAuthorsTitlesSubjectsDocument TypesJournalsThis CollectionBy Issue DateAuthorsTitlesSubjectsDocument TypesJournals

My Account

Login

Statistics

View Usage Statistics

Contact Us | Send Feedback

Privacy policy
DSpace software copyright © 2002-2019  DuraSpace

Service from  Unit