Federated Learning: Client-side Personalization

Abstract

Federated learning er en maskinlæring paradigme som fokuserer på å opprettholde personvern og sikkerhet utover flere klienter. Den benytter seg av algoritmer på en sentral server som har i oppgåve å samle sammen flere maskinlæringsmodeller fra ulike klienter i en enkel modell. Den resulterende globale modellen vil prestere dårligere på lokale datasett hvor fordelingen av data er ubalansert, noe som vil si at modellen vil være uønsket for enkelte bruksområder hvor en stor grad av personlig tilnærming er viktig. I denne avhandlingen vil de ulike tilnærmingsteknikkene i federated learning bli utforsket. Videre, to fremgangsmåter som skal tilnærme den globale modellen til det lokale miljøet vil bli foreslått. Den første fremgangsmåten er inspirert av federated averaging og har i hensikt å kombinere den lokale- og den globale modellen. Den andre fremgangsmåten er enda en multi-modell fremgangsmåte inspirert av ensemble learning. Denne fremgangsmåten vil kombinere prediksjonene fra begge modellene og vil differensiere hvilken modell er mest nøyaktig for hver enkel prediksjon for å så kombinere de. Begge disse metodene vil så bli testet på datasettene MNIST og CIFAR10 - den første metoden viser ingen forbedring i ytelse, men den andre vil vise en liten økning i ytelse. Diverse metode for å forbedre disse fremgangsmåtene vil deretter bli foreslått for å potensielt vise en enda større økning i ytelse.

Federated learning is a machine learning paradigm that focuses on maintaining privacy and security across several clients. It works by employing algorithms on a central server that focuses on aggregating the resulting machine learning models from several clients. The resulting global model will perform worse on local datasets where the data distribution is unbalanced, meaning the model is undesirable for certain use-cases where a high degree of personalization is important. In this thesis the current state of personalization techniques in federated learning will be explored. Furthermore, two approaches that aims to personalize the global model to the local environment will be proposed. The first approach is inspired by federated averaging and aims to combine the local and global model. The second approach is another multi-model approach inspired by ensemble learning. This approach rather than combining two models it only combines the outputs and aims to differentiate the predictions that are measured to be more accurate and combine these. Both of these methods are then tested on the MNIST and CIFAR-10 datasets - the first method shows no increase in performance in comparison to the local model and the second approach shows a slight increase in performance. Ways to improve these approaches are then suggested to potentially show an even bigger increase in performance.