Improving AVM Prediction Performance in the Housing Market: A Stacked Generalization Approach with Diverse Model Selection

Abstract

Denne oppgaven undersøker den potensielle forbedringen av prediktiv nøyaktighet til automatiserte verdsettelsesmodeller (AVM-er) ved å bruke metodisk forskjellige modeller i "stacked generalization". Målet er å redusere unøyaktigheter i AVM-er ved å bruke denne avanserte teknikken, som tidligere forskning har vist å være fordelaktig. Basert på disse funnene, anvender denne studien flere verdsettelsesteknikker, inkludert salgssammenligningsmetoden, "Least Absolute Deviation" (LAD) og "XGBoost" (XGB), for å fange forskjellige mønstre og innsikt. Disse teknikkene ble kombinert på ulike måter for å danne tre stablede modeller, som deretter ble evaluert for deres prediktive ytelse gjennom en komparativ analyse mellom de tre individuelle modellene og de tre stablede modellene.

Modellene våre ble testet på et datasett bestående av 164 652 leiligheter solgt i Oslo mellom 2007 og 2022, hvor det ble generert prediksjoner "out-of-sample" ved å bruke 25% av datasettet. Funnene tyder på at den stablede modellen som involverer XGB og salgssammenligningsmetoden gir den mest nøyaktige prediksjonen av alle modellene som ble undersøkt i studien, og oppnådde en median absolutt prosentfeil (MdAPE) på 5,35%. Studien viser også at mesteparten av nøyaktigheten til de stablede modellene er hentet fra XGB-modellen. Denne individuelle modellen med best ytelse følger tett de stablede modellene, og oppnår en MdAPE på 5,47%. Til tross for disse resultatene, står våre stablede modeller overfor betydelige utfordringer knyttet til beregningsmessig kompleksitet og tolkbarhet, noe som tyder på at videreutvikling av XGB-modellen kan være mer effektivt.

Ytterligere tester ble utført for å forstå hvordan ulike verdsettelsesteknikker og stablede modeller presterer med varierende datastørrelser. Funnene belyser begrensningene som individuelle modeller møter ved arbeid med mindre datasett og avslører en svekkelse i effektiviteten til de stablede modellene når størrelsen på treningsdataene reduseres. Dette antyder at "stacked generalization" kanskje ikke fører til forbedret prediksjonsevne for mindre datasett. I en egen undersøkelse ble modellene våre testet ved hjelp av et "out-of-time" testsett på de fullstendige dataene, som viste at vår første metodikk kan generaliseres.

Studien konkluderer med at bruk av "stacked generalization" for å kombinere metodisk forskjellige modeller kan forbedre den prediktive ytelsen til våre modeller, men disse forbedringene er relativt små og krever en viss mengde data. Samlet sett gir denne oppgaven verdifull innsikt i anvendelsen av "stacked generalization" i eiendomsvurdering og gir interessante funn i et relativt lite utforsket felt.

This thesis investigates the potential enhancement of predictive accuracy in Automated Valuation Models (AVMs) by employing diverse model selections in stacked generalization. The aim is to reduce inaccuracies in AVMs through the use of this advanced technique, which prior research has shown to be beneficial. Building on these findings, the study integrates multiple valuation techniques, including the Comparable Sales Method (CSM), Least Absolute Deviation (LAD), and XGBoost (XGB), to capture diverse patterns and insights. These techniques were combined in various ways to form three stacked models, which were then evaluated for their predictive performance through a comparative analysis between the three individual models and the three stacked models.

Our models were tested on a dataset consisting of 164,652 apartment transactions from Oslo, sold between 2007 and 2022, generating out-of-sample predictions using 25% of the data. The findings suggest that the stacked model involving XGB and CSM emerged as the most accurate of all models examined in the study, achieving a median absolute percentage error (MdAPE) of 5.35%. However, the study also reveals that most of the accuracy of the stacked models is derived from the XGB model. This best-performing individual model closely follows the stacked models, achieving an MdAPE of 5.47%. Despite these results, our stacked models face significant challenges related to computational complexity and interpretability, suggesting that further XGB model development might be more efficient.

Further tests were conducted to understand how different valuation techniques and stacked models perform with varying data sizes. The findings highlight the limitations faced by individual models when dealing with smaller datasets and reveal a decrease in the effectiveness of the stacked models as the size of the training data is reduced, suggesting stacked generalization might not improve prediction performance for smaller datasets. In a separate evaluation, our models were tested using an out-of-time test set on the full data, demonstrating that our initial methodology can be generalized.

The study concludes that using stacked generalization to combine distinct modeling techniques can improve the predictive performance of our models, but these improvements are relatively small and require a certain amount of data. Overall, this thesis offers valuable insights into the application of stacked generalization in real estate valuation and provides interesting findings in a relatively unexplored field.