Increasing Validity and Uncovering Utility in Machine Learning Studies: An Illustrative Approach to Essential Concepts and Procedures in Model Development and Assessment

Abstract

De siste årene har det skjedd store fremskritt innen dyp læring. I takt med stadig økende tilgang på datakraft og brukervennelige maskinlæringsmetoder, har stadig flere forskningsdisipliner tatt i bruk dyp læring. Mange medisinske studier som benytter maskinlæring rapporterer om resultater som er like gode eller bedre enn standard klinisk praksis, men undersøkelser viser at flere av disse studiene kan ha lavere vitenskapelig betydning enn først antatt. Spesielt er det mangel på ekstern validering, samt at flere av publikasjonene baserer seg på svært små og ensformige datasett, som gjør at den faktiske nytten av de nye metodene er usikker. Utvikling av klassiske og veldefinerte metoder kan være svært vanskelig og tidkrevende, noe som gjør at det i mange tilfeller kan være svært fristene å gå over til maskinlæringsmetoder. Derfor er det et behov for å øke forståelse for virkemåten til maskinlæringsmodeller blant brukere innen ikke-statistiske felt, samt å innføre veldefinerte forskningsmetoder og protokoller for å øke validiteten til videre forskning på området. I denne rapporten vises effekten og innvirkningen av sentrale emner innen utvikling og validering av maskinlæringsmodeller. Gjennom en forklarende og illustrativ tilnærming til teori, forsøker rapporten å gi økt forståelse og intuisjon, spesielt for uerfarne brukere. Avslutningsvis foreslås retningslinjer som er ment for å hjelpe utviklere med å oppnå økt ytelse og validitet, og samtidig avdekke vitenskapelig betydning og relevans på nye områder.

Recent advances in deep learning has been remarkable. As the availability of computational power and simple-to-use machine learning frameworks are rapidly increasing, deep learning systems are increasingly deployed to new fields of research. Many machine learning studies in medicine report performance comparable or better than clinicians, however many of them were found to be at high risk of bias, and deviated from existing reporting standards. In particular, a frequent lack of evaluation on external data, as well as development on too narrow datasets, limit the medical utility for many of the methods presented. Moreover, classical model development can be time consuming and cumbersome, thus migration to machine learning methods can be tempting. Therefore, there is a need for increased knowledge on the behaviour of machine learning methods among users from non-statistical disciplines, as well as well-defined methods and protocols suitable for machine learning research in various fields. This thesis aims at illustrating the effects and impacts of some important aspects on model development and assessment, in an explanatory and illustrative fashion, striving towards increased understanding and intuition, in order to be more accessible to inexperienced users. Finally, guidelines are presented to assist developers in achieving increased model validity and uncover utility.