• norsk
    • English
  • English 
    • norsk
    • English
  • Login
View Item 
  •   Home
  • Fakultet for informasjonsteknologi og elektroteknikk (IE)
  • Institutt for datateknologi og informatikk
  • View Item
  •   Home
  • Fakultet for informasjonsteknologi og elektroteknikk (IE)
  • Institutt for datateknologi og informatikk
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

Combining Hyperband and Gaussian Process-based Bayesian Optimization

Iversen, Bjørn Magnus Valberg
Master thesis
Thumbnail
View/Open
no.ntnu:inspera:57320302:33387500.pdf (978.0Kb)
URI
https://hdl.handle.net/11250/2777675
Date
2020
Metadata
Show full item record
Collections
  • Institutt for datateknologi og informatikk [6333]
Abstract
Å identifisere gode hyperparametre for maskinlæringsmodeller er en viktig oppgave. Denne oppgaven er såpass viktig at den har inspirert et eget felt, nemlig hyperparameteroptimering. Det finnes mange hyperparameteroptimeringsalgoritmer, som nettsøk, tilfeldig søk og evolusjonære algoritmer, bare for å nevne noen. I denne masteroppgaven undersøkes kombinasjonen av to ulike hyperparameteroptimeringsalgoritmer -- Bayesisk optimering og Hyperband. Oppgaven viser hvordan Bayesisk optimering basert på Gaussiske prosesser og Hyperband kan kombineres gjennom Bayesisk sampling, og tester en ny kombinasjon av disse basert på tidligere arbeid gjennom eksperimenter. De eksperimentelle resultatene tilsier at kombinasjonen av metodene ikke er å foretrekke over vanlig Hyperband, men mulige grunner for dette skisseres, og mulige endringer for fremtidig arbeid foreslås.
 
Identifying good hyperparameters for machine learning models is an important task. So important, in fact, that an entire field is dedicated to this very task---this field is called hyperparameter optimization. There are many hyperparameter optimization algorithms, such as grid search, random search and evolutionary algorithms, to name a few. This thesis examines a combination of two algorithms---these algorithms being Bayesian optimization and Hyperband. The thesis shows how Gaussian process-based Bayesian optimization and Hyperband can be combined through Bayesian sampling, and tests a new combination of these methods based on previous work. The experimental results indicate that the combined approach should not be preferred over vanilla Hyperband, but reasons as to why this might be the case and ideas for future work are presented.
 
Publisher
NTNU

Contact Us | Send Feedback

Privacy policy
DSpace software copyright © 2002-2019  DuraSpace

Service from  Unit
 

 

Browse

ArchiveCommunities & CollectionsBy Issue DateAuthorsTitlesSubjectsDocument TypesJournalsThis CollectionBy Issue DateAuthorsTitlesSubjectsDocument TypesJournals

My Account

Login

Statistics

View Usage Statistics

Contact Us | Send Feedback

Privacy policy
DSpace software copyright © 2002-2019  DuraSpace

Service from  Unit