On optimal ensemble learning using the concept of diversity and negative correlation

Abstract

Under et studie av et sett vinnende Kaggle-løsninger, ble det fastslått at det er et problem at de vinnende løsningene består av veldig store ansamlinger av klassifikatorer. Med dette som motivasjon ble det utført et studie av forskjellige eksisterende teknikker som kan brukes for å lage velfungerende ansamlinger. I dette studiet ble det funnet en teknikk som var relevant for problemet, nemlig negativ korrelasjonslæring. Negativ korrelasjonslæring indusererer mangfold blant klassifikatorene i en ansamling. Negativ korrelasjonslæring ble brukt til å studere effekten av mangfold blant ansamlinger med forskjellig antall klassifikatorer. I denne studien blir det vist at ansamlinger av få klassifikatorer har ingen effekt av mangfold i klassifikatorene. Ansamlinger av flere klassifikatorer ble vist å ha stor effekt av mangfold blant klassifikatorene. Denne effekten blir vist på flere dataset, med forskjellige dataset-størrelser og for klassifikasjonsproblemer med varierende vansklighetsgrad. Videre blir det gjort et forsøk på å forklare denne effekten ved bruk av en ny definisjon av en lokal, spesialistklassifikator og analyse av klassifikatorene sine aktiveringer ved bruk av verktøyet GradCAM. Både forklaringen og definisjonen av en lokal, spesialistklassifikator oppfører seg slik forventninger skulle tilsi, hvilket støtter oppunder både definisjonen og forklaringen.

A problem is found with a set of Kaggle competition submissions, regarding the incredible size of the solutions which are used to win. With this motivation, a study of how to create well-performing ensembles is conducted. A technique that could be relevant to the original problem is found, called Negative Correlation Learning, which induces diversity in ensembles of classifiers. A study into the effect of diversity in ensembles of varying sizes is performed. In this study, an effect is shown, where ensembles with few members show no effect of diversity, while ensembles consisting of slightly more members have a significant effect. This is shown on multiple datasets, for different sizes of datasets and varying problem difficulties. It is made an attempt at explaining the observed effect based on a new definition of a local specialist classifier, and the analysis of single classifier activations using the tool GradCAM. Both the explanation and the local specialist definition appears to act in line with the given expectations, which backs up both the definition and the explanation.