Nonlinear optimization for Hyperparameter computation in Gaussian Processes machine learning

Abstract

Målene til denne masteroppgaven er: 1. Litteraturstudie på Gaussiske Prosesser (GP), Optimeringsteori og metoden av ulineære konjugerte gradienter (NCG). 2. Ny implementasjon av en GP-algoritme i programvare. 3. Analyse av optimering av hyperparameter ved bruk av en NCG metode. 4. Testcaser av GP implementasjonen og sammenligne ytelse med eksisterende dataprogramvare. Gaussiske Prosesser har vist stor potensiale i å kunne tolke høyst ulineære modeller med ekstrem presisjon med lite tuning. To testcaser har blitt designet for å teste funksjonalitet i GP implementasjonen. Den første er regresjon av en 1-dimensjonal sinus kurve med støy. Den andre er en 4-dimensjonal-robot manipulator modell med friksjon i leddene. Resultatene til første case har vist stor potensiale og er sammenlignbare med ytelse til andre eksisterende implementasjoner. Kjøretiden var lav og skalerbar (26 sekunder for 1000 kjøringer av optimaliseringsalgoritmen). Resultatene til den andre cases har gitt defekte resultater og viser at implementasjonen ikke er feilfri. Uansett sluttresultatet, så viser dette arbeidet at GP er et fantastisk verktøy i maskinlæringskassen.

The goals of this thesis are: 1. Literature study on Gaussian Processes (GP), Optimization theory, and Nonlinear Conjugate Gradient (NCG) method. 2. Novel implementation of a GP algorithm in computer software. 3. Analysis of hyperparameter optimization using the NCG methods. 4. Case examples of the GP implementation and performance comparison to existing software. Gaussian Process has showed great potential in ability to interpret highly non-linear models extremely well with minimal tuning. Two test cases have been designed to test the functionality of the GP implementation. The first one is a 1-dimensional sinusoidal wave regression with some noise. The second example is a 4-dimensional 2-link planar robot manipulator arm model with friction in the joints. The results of first test case showed great potential and were comparable to the performance of the existing software. The runtime of the implementation was low and well scalable (26 seconds for 1000 runs of the optimization algorithm). The results of the second test case produced faulty results and point to problems in the implementation. Regardless of the final results, this thesis shows that Gaussian Processes is a great tool to have in the machine learning toolbox.