Reproducibility of the Top-Performing Methods in the M4 Competition

Abstract

Reproduserbarhet har nylig fått økt oppmerksomhet innen kunstig intelligens. Selv om det hevdes at kunstig intelligens har en reproduserbarhetskrise, er dette ennå ikke bekreftet om tidsserieprognoser. Denne studien tar sikte på å bestemme i hvilken grad dagens forskning innen tidsserieprognoser er reproduserbar. Et forsøk på å reprodusere noen av metodene fra M4-konkurransen kunne fylle dette gapet i litteraturen. Ti av de beste resultatene i M4-konkurransen er blitt forsøkt reprodusert. Ingen av metodene viste seg å være reproduserbare.

Reproducibility has recently received increased attention within artificial intelligence. Although it is claimed that artificial intelligence is having a reproducibility crisis, this is not yet confirmed about time series forecasting. This study aims to determine to what degree today's research within the field of time series prediction is reproducible. An attempt to reproduce some of the methods from the M4 competition could fill this gap in the literature. Ten of the top-performing methods in the M4 competition have been attempted reproduced. None of the methods proved to be reproducible.