Combining Hyperband and Gaussian Process-based Bayesian Optimization

Abstract

Å identifisere gode hyperparametre for maskinlæringsmodeller er en viktig oppgave. Denne oppgaven er såpass viktig at den har inspirert et eget felt, nemlig hyperparameteroptimering. Det finnes mange hyperparameteroptimeringsalgoritmer, som nettsøk, tilfeldig søk og evolusjonære algoritmer, bare for å nevne noen. I denne masteroppgaven undersøkes kombinasjonen av to ulike hyperparameteroptimeringsalgoritmer -- Bayesisk optimering og Hyperband. Oppgaven viser hvordan Bayesisk optimering basert på Gaussiske prosesser og Hyperband kan kombineres gjennom Bayesisk sampling, og tester en ny kombinasjon av disse basert på tidligere arbeid gjennom eksperimenter. De eksperimentelle resultatene tilsier at kombinasjonen av metodene ikke er å foretrekke over vanlig Hyperband, men mulige grunner for dette skisseres, og mulige endringer for fremtidig arbeid foreslås.

Identifying good hyperparameters for machine learning models is an important task. So important, in fact, that an entire field is dedicated to this very task---this field is called hyperparameter optimization. There are many hyperparameter optimization algorithms, such as grid search, random search and evolutionary algorithms, to name a few. This thesis examines a combination of two algorithms---these algorithms being Bayesian optimization and Hyperband. The thesis shows how Gaussian process-based Bayesian optimization and Hyperband can be combined through Bayesian sampling, and tests a new combination of these methods based on previous work. The experimental results indicate that the combined approach should not be preferred over vanilla Hyperband, but reasons as to why this might be the case and ideas for future work are presented.