| dc.description.abstract | Over de siste par tiårene har det vært en økende mengde problemer knyttet til reproduserbarhet i flere vitenskapelige felt.
Over tid har det blitt klart at problemene er mer utbredte enn først antatt.
Selv i felt som maskinlæring hvor eksperimenter utføres på datamaskiner, er ikke full reproduserbarhet en garanti
En økende mengde maskinlæringsplattformer er under utvikling for å gjøre noe med dette problemet.
Spørsmålet er om noen av disse plattformene har full støtte for reproduserbarhet, og dersom dette ikke er tilfellet, hva de mangler
Det er derimot ikke noen standard for vurdering og sammenlikning av hvilke egenskaper som skal til for å fullt støtte reproduserbarhet
Vi foreslår en kvantitativ metode for å løse dette.
Vi utfører en undersøkelse basert på den foreslåtte metoden for å kartlegge state-of-the-art.
Målet er å vurdere hvor godt plattformene støtter å gjøre empiriske resultater reproduserbare.
Etter evaluering av plattformene, utfører vi et enkelt klassifikasjons-eksperiment over plattformene med de beste resultatene.
Eksperimentets mål er å være så like som mulig slik at de kan gi kontekst til hvordan plattformene kan gjøre eksperimenter reproduserbare.
Undersøkelsen viser til at BEAT og Floydhub har den beste støtten for reproduserbarhet, etterfulgt av Codalab og Kaggle.
De mest brukte plattformene fra de store selskapene har relativt dårlig støtte for reproduserbarhet.
Full evaluering av BEAT var desverre ikke mulig, grunnet problemer med tilgang.
De andre høyt rangerte plattformene hadde lite avvik fra resultatene av undersøkelsen. | |
| dc.description.abstract | In the last few decades, there has been an increase reports about issues of repro-ducibility in various scientific fields. As time has passed, the scientific communityhas realized that this issue is much more widespread than first anticipated. Evenin the field of machine learning, where experiments are fully conducted on com-puters, reproducibility is not necessarily guaranteed.An increasing number of both open source and commercial machine learningplatforms are being developed, which help address this issue. The question is ifany of these platforms fully support reproducibility, and if this is not the case,what they are lacking. However, there is no standard for assessing and compar-ing which features are required to fully support reproducibility. We propose aquantitative method in order to address this. Based on the proposed method,we perform a survey to compare the current state of the art machine learningplatforms. The goal is to assess how well they support making empirical resultsreproducible.After assessing which platforms provide the best result, a simple classificationexperiment is conducted over a selection of the highest ranking platforms. Theexperiments are intended to be as similar as possible, in order to provide contextinto how the platforms can provide reproducible results.The results of the survey showed that BEAT and Floydhub have the bestsupport for reproducibility with Codalab and Kaggle as close contenders. Themost commonly used machine learning platforms provided by the big tech com-panies have poor support for reproducibility. Full assessment of BEAT was notpossible within the time span of the project, due to issues with access. The otherplatforms that were assessed did not stray far from the assignments provided inthe survey. | |