Decentralized Artificial Intelligence for Image Classification and Rating Prediction

Abstract

Anbefalingssystemer er blant de største kommersielle suksesshistoriene innen kunstig intelligens i praksis. Anbefalingssystemer brukes til å skape store inntekter for organisasjonene som tar dem i bruk. Netflix har estimert at deres anbefalingssystem sparer selskapet for 1 milliard dollar hvert år, og har avslørt at omtrent 75% av det kundene deres ser på er anbefalt. Anbefalingssystemer er imidlertid avhengige av store datasett for å kunne gi nøyaktige anbefalinger til brukerne. Dette gir organisasjoner insentiv til å samle enorme mengder data om brukerne sine. Dette er ikke nødvendigvis i brukerens interesse. Databrudd er ikke en uvanlig hendelse, og noen personer er kanskje ikke komfortable med å la disse organisasjonene ha store mengder data om seg selv og sin oppførsel.

Med innføringen av databeskyttelseslover, som GDPR i EU, er folks rett til å ha kontroll over sin egen data blitt styrket. Dette åpner for et nytt paradigme innen kunstig intelligens der en persons eierskap til sin egen data blir vektlagt. Dette paradigmet vil bli referert til som desentralisert kunstig intelligens, og vil beskrive et mønster der datainnsamling og trening og bruk av maskinlæringsmodeller gjøres lokalt på brukerens enhet. Ved å bruke dette paradigmet har brukerene full kontroll over hvordan dataen deres brukes.

Denne oppgaven vil utforske de mange utfordringene knyttet til desentralisert kunstig intelligens. To tilnærminger ble først vurdert: desentraliserte ensemblemetoder og samarbeidende læringsmetoder, som føderert læring. Etter eksperimenter som sammenligner disse metodene på MNIST-datasettet for håndskrevne siffer, blir samarbeidslæring valgt som den mest lovende metoden.

To samarbeidende læringsmetoder, føderert læring og sladderlæring, sammenlignes deretter for flere datasett for filmanbefaling. Ved å utføre flere analyser av treningsprosessen til sladderlæring, identifiseres flere områder som kan forbedres hos tidligere arbeid innen dette området. Flere strategier utvikles for å øke ytelsen. Disse strategiene kan også brukes til å forbedre føderert læring.

Til slutt introduseres et nytt paradigme som vil bli referert til som semi-desentralisert læring. Dette paradigmet har fordelen av å tilby bedre ytelse sammenlignet med en helt desentralisert teknikk som sladderlæring, på kostnad av økt sentralisering.

Recommender systems are one of the biggest commercial success stories of artificial intelligence in practice. They are used to generate large amounts of wealth for the organizations that operate them. Netflix has estimated that their recommender system saves the company $1 billion every year, and has disclosed that about 75% of what the customers of Netflix watch is from some sort of recommendation. However, recommender systems are dependent on large datasets to be able to generate accurate recommendations for their users. This incentivizes organizations to collect massive amounts of data on their users. This is not necessarily in the best interest of the user. Data breaches are not uncommon occurrences, and some might not be comfortable with letting these organizations have large amounts of data on them and their behavior.

With the introduction of data protection laws, such as the GDPR in the EU, people’s right to have control over their own data has been reaffirmed. This opens up for a new paradigm for Artificial Intelligence where a person’s ownership of their own data is emphasized. This paradigm will be referred to as Decentralized Artificial Intelligence, and will describe a pattern where data collection, training, and inference is all performed locally on the device of the user. Using this paradigm, the user has complete control over how their data is used.

This thesis will explore the many challenges associated with Decentralized Artificial Intelligence. Two approaches were considered at first: decentralized ensemble methods, and collaborative learning methods like Federated Learning. Following experiments comparing these methods on the MNIST handwritten digit dataset, collaborative learning is selected as the most promising method.

Two collaborative learning methods, Federated Learning and Gossip Learning, are then compared for several movie-recommendation datasets. By performing multiple analyses of the training process of Gossip Learning, several areas of improvement in the previous work is identified. Multiple strategies to increase performance are developed, which are also applicable to Federated Learning.

Lastly a new paradigm which will be referred to as semi-decentralized learning is introduced. This paradigm has the advantage of offering better performance compared to a fully decentralized technique like Gossip Learning, but it comes at the cost of increasing centralization.