Feature Reuse in Federated Learning: Toward a Federated Feature Store

Abstract

Organisasjoner som deployerer maskinlæringsmodeller (ML-modeller) i stor skala melder om en rekke fordeler ved å ha sentralt definerte og gjenbrukbare ML features når nye modeller skal bygges, slik som ved redusert dataprosesseringsinnsats og konsekvente features både ved trening og bruk av modeller. Federated Learning (FL) er en ny teknikk innen distribuert ML som søker å håndtere utfordringer rundt privat og distribuert data ved trening av ML-modeller. Til tross for at FL fortsatt er i et veldig tidlig stadium, er det rimelig å forvente at det vil bli brukt i økende grad i takt med veksten av Internet of Things (IoT) og andre edge-enheter. Med utgangspunkt i de rapporterte fordelene ved gjenbruk av features i sentralisert ML, kan en forvente at feature-gjenbruk kan gi lignende fordeler for FL-anvendelser. Men, nåværende løsninger for å gjenbruke features, Feature Stores (FSs), antar at all data er sentralt aksesserbar, og de kan derfor ikke oppfylle kravene FL stiller. For å addressere denne begrensningen i eksisterende løsninger, vil denne oppgaven forsøke å besvare problemstillingen: Hvordan kan vi gjenbruke ML-features mellom ulike anvendelser av FL for å effektivisere ressursbruken på klientenheter?

Problemstillingen besvares ved å følge en Design Science Research (DSR)-metodologi for å designe og implementere et system for gjenbruk av features i FL, kalt Federated Feature Store (FFS). Systemet evalueres ved først å anvendedet på to ulike FL-oppgaver, for deretter å måle ressursbruken under prosessering og inntak av data ved ulike gjenbruksnivåer av features. Evalueringen viser at ressursbruken i forbindelse med dataprosessering og -inntak avtar lineært med økende gjenbruksnivå. Den reduserte ressursbruken antyder et lavere energiforbruk, som ikke bare er viktig for eksempelvis batteridrevne mobile enheter, men også har økonomiske og miljømessige gevinster.

Resultatene fra oppgaven belyser muligheter for videre forskning på gjenbruk av features i Vertical FL (VFL), tiltak for sikkerhet og tilgangskontroll av features, og designforbedringer for å øke ytelsen i kryss-silo anvendelser av FL. Forskere oppfordres også til å ikke bare undersøke tekniske og ingeniørmessige fordeler ved gjenbruk av features, men også å se på miljømessige og økonomiske virkninger.

Organizations deploying Machine Learning (ML) models at scale report numerous benefits of having centrally defined and reusable ML features when building new models, such as reduced Feature Engineering (FE) efforts and consistency in features in both training and operations. Federated Learning (FL) is a recent and actively researched area of distributed ML that aims to address data privacy issues in ML model training. While FL is still in a very early phase of adoption, it is reasonable to assume that it will be increasingly used as the number of Internet of Things (IoT) and other edge devices grow. Extrapolating from the reported benefits of feature reuse in centralized ML contexts, one may expect that feature reuse can achieve similar benefits for FL applications. However, current systems addressing feature reuse, Feature Stores (FSs), assume that data is centrally accessible, and thus they do not satisfy the constraints of FL. To address this limitation, the thesis poses the RQ: How can we reuse ML features across different applications in an FL environment to increase resource efficiency on client devices?

The RQ is answered by following a Design Science Research (DSR) methodology to design and implement a system for feature reuse in FL, the Federated Feature Store (FFS). The FFS is evaluated by first applying it to two different FL tasks, then measuring resource consumption during FE and feature ingestion for varying levels of feature reuse. The evaluation demonstrates a linear decrease in resource usage for increasing levels of feature reuse during FE and feature ingestion. The decreased resource usage implies reduced energy consumption, which is not only crucial for battery–powered mobile devices but also provides economic and environmental benefits.

The thesis results shed light on opportunities for further research into feature reuse in vertical FL, security and access-control measures for feature reuse, and design improvements to improve performance in cross–silo FL applications. Re searchers are encouraged to study not only the engineering and technical benefits of ML feature reuse but also examine the environmental and economic impacts.