A Survey of the Federated Learning and Differential Privacy Techniques

Abstract

For å kunne bruke et datasett som inneholder sensitiv informasjon, må det være sikret og beskyttet. Federated learning er en metode innen maskinlæring som prøver å løse dette problemet. Ved å bringe en global modell til en lokal enhet kan brukere dra nytte og lære av en felles modell, samtidig som de beholder sin data lokalt. Siden dette er et relativt nytt konsept derimot, er det fremdeles noen utfordringer med metoden. Derfor er ikke federated learning alene alltid sterkt nok til å beskytte datasettet. Av den grunn brukes det ofte i kombinasjon med differensielt personvern (DP). Dette er en definisjon som sikrer personvern ved bruk av støy.

Den originale definisjonen av differensielt personvern, (epsilon)-DP, er ofte for streng til at det kan brukes i praksis. Derfor har det blitt utviklet mange variasjoner av definisjonen, og den mest vanlige er (epsilon, delta)-DP. Dette er en avslappet definisjon som godtar noe lekkasje av informasjon. Videre er det flere mekanismer som sikrer differensielt personvern. Laplace mekanismen og den eksponentielle mekanismen er noen av de vanligste metodene. Mange maskinlæringsklassifiserere, slik som lineær og logistikk regresjon, dype nevrale nettverk og support vektor maskiner, kan tilpasses til å sikre differensielt personvern.

Personvernbudsjettet, epsilon, gir en avveining mellom ytelsen til modellen og personvernet til datasettet. Eksperimenter avslører at graden av avveining er påvirket av valget av for eksempel datasett, klassifiserer, modell og fremgangsmåte. Noen av eksperimentene viser ingen betydelig avveining, mens andre viser alvorlige avveininger. I tillegg eksisterer det fremdeles noen åpne spørsmål rundt både federated learning og differensielt personvern som krever videre undersøkelser.

To be able to utilize data sets containing sensitive information, they must be secure and protected. Federated learning is a technique in machine learning which aims to solve this problem. By bringing a global model to a local device, users can utilize and learn from a shared model while at the same time keeping their data local. However, due to being a relatively new concept, there are still some challenges with the approach. Hence, federated learning alone is not always strong enough to protect the data set. Therefore, it is often used in combination with differential privacy (DP). This is a definition that provides privacy by injecting noise.

The original definition of differential privacy, (epsilon)-DP, is often too strict to use in practice. Thus, many variations of the definition have been developed, and the most common is the (epsilon, delta)-DP. This is a relaxation of the definition allowing some leakage of information. Further, there are several mechanisms that provide differential privacy. The Laplace mechanism and the exponential mechanism are some of the most common approaches. Many machine learning classifiers, such as linear and logistic regression, deep neural networks, and support vector machines, can be adopted to provide differential privacy.

The privacy budget, epsilon, gives a trade-off between the performance of the model and the privacy of the data set. Experiments reveal that the amount of trade-off depends on the choice of e.g. data set, classifier, model, and approach. Some experiments indicate no significant trade-off, while others indicate a severe trade-off. In addition, there still exists some open questions about both federated learning and differential privacy requiring further research.