Non-parametric Regression in Machine Learning: A Comparison of the Probabilistic and Algorithmic Approach

Abstract

Termen ikke-parametrisk regresjon omhandler et stort antall maskinlærings teknikker som spår fremtidige hendelser av naturlige prosesser ved å bruke funksjoner som er mer fleksible enn deres parametriske motparter. Man kan videre dele opp ikke parametrisk regresjon i to kategorier kalt algoritmisk og sannsynlighets baserte modeller. Algoritmiske tilnærmingen fokuserer på å bygge modeller med høy prediktive ytelse, mens sannsynlighets baserte modeller bygger modeller med en statistisk tilnærming som førsøker å etterligne prosessen. Med målet om å sammenligne disse tilnærmingene vil to algoritmiske (lokal regresjon og relaksasjon) og en sannsynlighets bassert modell (Gaussiske prosesser) bli grundig dekket. I en praktisk sammenligning av Gaussiske prosesser og lokal regresjon ble det funnet at de to metodene presterte tilnærmet likt, at Gaussiske prosesser ga betraktelig bedre varians estimater og at lokal regresjon hadde signifikant lavere kjøretid. Ved bruk av den rike teorien bak kjerne funksjoner gitt i Mercers teorem og reproduserende kjerne Hilbert rom kan det vises at all tre metoder kan bli formulert som en lineær kombinasjon av observasjoner vektet av en kjerne funksjon.

The term non-parametric regression encompasses a great number of machine learning technique that predict the outcome of natural processes using functions that are more flexible than their parametric counterparts in order to they gain an edge in predictive capabilities. One may further subdivide the category into algorithmic and probabilistic models. The algorithmic approach focus on building models that has high predictive performance, while the probabilistic perspective builds models with a statistical approach that aims to mimic the process. For the purpose of comparing these two approaches, two algorithmic models (local regression and relaxation) and one probabilistic model (Gaussian processes) are to be thoroughly covered. In a practical comparison between Gaussian processes and local regression, Gaussian processes where found to have a predictive perform at a similar level to local regression, while yielding much better variance estimation, but had a significantly longer computation time. By exploring the rich theory behind kernel functions found in Mercers theorem and reproducing kernel Hiblert spaces it was shown that all tree techniques can be expressed as estimating a function by linearly combining observation weighed by a kernel function.