Digital Twins for AI-based Medical Imaging

Abstract

Kunstig intelligens (AI) i det medisinske feltet radiologi har utviklet seg så raskt de siste årene at klinisk anvendelse av AI-assistert diagnose har blitt et spørsmål om når det skjer, og ikke om det er gjennomførbart. Fellesnevneren funnet i forskningsartikler om radiologi og AI er utfordringen spesielt knyttet til medisinsk avbildning: lav tilgjengelighet av annoterte datasett på grunn av personvern og økonomiske faktorer, ettersom feltspesifikk kompetanse og høyt tidsbruk er nødvendig. Datasett er nødvendig for å trene AI-modeller som er i stand til å utføre operasjoner som medisinsk bildeklassifisering og segmentering. Denne masteroppgaven forsker på en løsning for å utvikle datasett ved å undersøke et Digital tvilling-økosystem der hver innbygger har en nettbasert tvilling i nettskyen hvor medisinske bilder automatisk lastes opp til. Innbyggere vil ha muligheten til å donere dataene sine for utvikling av AI-modeller som øker totalmengden av bilder som kan brukes til generering av nye datasett. Denne oppgaven tar sikte på å undersøke i hvilken grad et Digital tvilling-økosystem kombinert med moderne bedriftsprogramvareløsninger som NVIDIA Clara-pakken kan bidra til generering av annoterte datasett av høy kvalitet. Økosystemet drar nytte av økningen i antall bilder tilgjengelig kombinert med nye programvareverktøy som er avgjørende for å effektivt kunne annotere dem før de brukes til å trene AI-modeller, med mål om å eventuelt fjerne den største flaskehalsen for AI og radiologi.

Bakgrunnsteori for medisinsk avbildning og AI-basert medisinsk bildeanalyse ble utført for å få en bedre forståelse av feltet. Bruksmønstre ble kartlagt for de fleste aktørene som vil bruke systemet, for eksempel innbyggere, pasienter og radiologer. Hvordan økosystemet vil bli brukt i en klinisk hverdag for radiologi ble gjennomgått, sammen med en detaljert oversikt over en kunnskapsgenerasjonsmotor som er programmert til å søke i digitale tvillinger etter medisinske bilder, delegere de videre for annotasjon og trene AI-modeller med de resulterende datasettene.

Resultatene i denne oppgaven er fra undersøkelsen av hvordan NVIDIA Clara kan brukes, og demonstrerer effektiviteten av å annotere bilder ved bruk av AI-assistert annotasjon og trening av AI-modeller på kraftige superdatamaskiner. AI-modellene som ble produsert ble sammenlignet med ferdigtrente modeller fra NVIDIA og viste lignende ytelse. Resultatene foreslår også en design av Digital Tvilling -økosystemet, sammen med pseudokode for tre hovedkomponenter: Digital Tvilling, anvendelse i kliniske omgivelser, og automatisk generering av nye AI-modeller. Konklusjonen antyder at det foreslåtte økosystemet er teknologisk gjennomførbart, men vil kreve omfattende ressurser, kompetanse og mer forskning før implementasjon. Mulighetene og begrensningene for hva som skal gjøres videre ble identifisert og diskutert.

Artificial Intelligence (AI) in the medical field of radiology has advanced so far in the recent years that clinical application of AI assisted diagnosis has become a question of time, not of possibility. The common denominator found in research papers on radiology and AI is a challenge especially difficult for medical imaging: scarce availability of annotated data sets due to privacy and economic factors, as field specific expertise and significant time is required. Data sets are necessary for training AI models capable of performing operations such as medical image classification and segmentation. This thesis researches a solution for developing data sets by investigating a Digital Twin ecosystem where every citizen has an online twin in the cloud that medical images automatically upload to. Citizens will have the option to donate their data for the development of AI models, increasing the amount of images that can be used for data set generation. This thesis aims to investigate to what extent a Digital Twin ecosystem combined with modern enterprise software solutions such as the NVIDIA Clara suite can contribute to the generation of high quality annotated data sets. The ecosystem takes advantage of the sudden surge in images combined with new software tools essential for efficiently annotating them before they are used to train AI models, with the goal of ultimately removing the biggest bottleneck of AI and radiology.

Background theory for medical imaging and AI-based medical image analysis was conducted to gain a better understanding of the field. Use cases were mapped out for the most the actors that will be using the system such as citizens, patients, and radiologists. How the ecosystem will be used in a clinical radiology workflow was specified, along with a detailed overview of a Knowledge Generation Engine which is programmed to search Digital Twins for medical images, delegate them for annotation, and train AI models with the resulting data sets.

The results were obtained from an investigation on how NVIDIA Clara can be used, demonstrating the efficiency of labeling images using AI assisted annotation and training AI models on powerful supercomputers. The AI models produced were compared to pre-trained models from NVIDIA, showing similar performance. The results also propose a design of the Digital Twin ecosystem, along with pseudocode for three main components: the Digital Twin, application in the clinical setting, and automatic generation of new AI models. The conclusion suggests that the proposed ecosystem is technologically feasible but will require extensive resources, expertise, and more research before implementation. The possibilities and limitations on what should be done next were identified and discussed.