Few-shot open world learning

Abstract

Datasynsystemer blir i økende grad tatt i bruk ute i dagligdags- og feltarbeidsapplikasjoner. Denne overgangen fra kontrollerte lab-omgivelser til den vide verden byr derimot på flere nye problemer. I stedet for kun å møte på klasser som er brukt under treningen av modellene så kan potensielt hvilken som helst objektklasse dukke opp under en åpen verdens setting. For å tilpasse seg dette så må klassifiseringsmodeller i tillegg til den vanlige klassifiseringen også kunne identifisere nye klasser som ikke er sett under trening og effektivt lære å tilpasse seg disse nye klassene, helst med så lite nedetid som mulig. Dette er kjent som «Åpen Verdenslæring Problemet», og det består av to underproblemer: Inkrementell læring, som omhandler oppdateringen av nye klasser og kontinuerlig læring av modellen, og åpent sett gjenkjenning som omhandler klassifisering og oppdagelse av nye klasser.

Denne avhandlingen fremlegger et rammeverk bestående av en «few-shot»-klassifiseringsalgoritme kombinert med en avviker deteksjons modul som en løsning på «Åpen Verdenslæring Problemet». «Few-shot»-klassifiseringsalgoritmene anvender en klassifiseringsstrategi som baserer seg på sammenligningen av objekter. De er også dyktige nok til å generalisere at de kun trenger noen få referansebilder fra en ny klasse for å tilpasse seg klassen, uten behov for noe ytterligere trening. Dette betyr at de naturlig danner en god løsning for det inkrementell lærings problemet. Problemet med oppdagelsen av nye klasser er utført av avviker deteksjons modulen som utnytter sammenligningene etablert av «few-shot»-algoritmen for å identifisere objekter som er tilstrekkelig ulik fra de kjente klassene og henholdsvis fjerner dem ut av klassifiseringsprosessen.

Basert på omfattende eksperimentering med forskjellige kombinasjoner av «few-shot»-klassifiseringsalgoritmer, avviker detektorer og åpent sett gjenkjennings algoritmer fremhever denne avhandlingen de best egnede variasjonene av rammeverket for forskjellige situasjoner og applikasjoner. Resultatene viser at rammeverket er realiserbart med kun en moderat reduksjon i ytelse sammenlignet med de grunnleggende «few-shot»-algoritmene.

Computer vision systems are gradually seeing an increased use in real world applications in a variety of domains. However, this transition from controlled lab environments to a real-world setting introduces several new problems. Instead of encountering only the classes used during training, potentially any class can be presented to the model in an open world scenario. As a result, in addition to the normal classification, the model must be able to identify the new classes and efficiently learn to adapt to these new classes, preferably with minimal downtime. This is known as the Open World Learning Problem, and it is comprised of two sub-problems: Incremental learning, which deals with the updating and continuous learning of the model, and open world classification which deals with the classification and discovery of new classes.

This thesis proposes a framework as a solution to the open world learning problem based on few-shot classification strategy in combination with an outlier detection module. The few-shot classifiers employ a similarity-based classification scheme and are highly adept at generalization, requiring no training and only a few labelled examples of a new class before adapting to it, natively presenting a good solution to the incremental learning problem. The discovery of new classes is performed by the outlier detection module that utilizes the similarity space created by the few-shot classifier to identify samples that are sufficiently different from the known classes and removes them from the classification process.

Based on extensive experimentation with different combinations of few-shot classifiers, outlier detectors and open set recognition algorithms, this thesis highlights the ideal variations of the proposed framework for different applications. The results show that the framework is realizable with a moderately low accuracy loss compared to standard few-shot classifiers.