Developing a Digital Twin-Based Prototype for Medical Knowledge Generation and AI-Assisted Image Segmentation

Abstract

Helseindustrien er en kjernedel av samfunnet, og dens kvalitet og effektivitet er avgjørende for å sørge for borgernes tillit til systemet. I dag bruker større deler av det medisinske feltet digitale verktøy til å forbedre arbeidsflyt, katalogisering, medisinsk presisjon, og mer. Bruken av digitale midler er ventet å fortsette å øke, noe som innebærer at robuste systemer trengs for å kunne håndtere, prosessere, og bruke data tilknyttet millioner av individer.

Kunstig intelligens (KI) er et voksende felt som har sett betydelig bruksøkning i arbeidet med medisinsk bildebehandling. Metoder relatert til KI er imidlertid avhengig av store mengder annoterte data av høy kvalitet. Det er flere årsaker til at dette er vanskelig å skaffe. Pasientens personvern, eierskap av data, og kopibeskyttelse hindrer ofte forskere og utviklere i å samle nok ekte medisinske snittbilder til å utvikle nye KI-løsninger. I tillegg er radiologer og andre helseeksperter nødt til å undersøke og anerkjenne alle bildene for å forsikre høy kvalitet, men å annotere disse bildene er en vanskelig og treg prosess. Distribusjon av helsedata er også for det meste ikke-standardisert, så nasjonale distribusjonsløsninger er nødvendig hvis KI-løsninger skal kunne tilbys en nasjons borgere.

For å løse de tidligere nevnte problemene, undersøker denne avhandlingen hvordan kunnskapsgenerering kan forbedres ved hjelp av eksisterende og ny data, og bli brukt i kontekst av medisinsk bildesegmentering. En arkitektur for å automatisk hente og håndtere data blir foreslått og utviklet. Dens struktur består av tre komponenter med grensesnitt mot hverandre, som åpner for trening av KI-modeller, samt eksportering, bruk, og mer. Bildeannotering og samtykke av datadeling blir håndtert i et separat grensesnitt. Digitale tvillinger, det vil si \textit{digitale representasjoner} av en borgers helsestatus og karakteristikker, blir generert for å holde styr på data assosiert med et individ i sanntid.

Utførte eksperimenter viser at toppmoderne (state-of-the-art) teknologier og metodologier er effektive når de blir brukt i sammenheng med digitale tvillinger. Å bruke desentralisert læring som et alternativ til sentralisert læring er også gunstig og i stand til å holde på borgeres personvern. Arkitekturen som blir foreslått er godt funksjonelt på en mindre skala, men videre testing behøves for å garantere at den distribuerbar og effektiv på større skala.

The healthcare industry is a core part of society, and its quality and efficiency are paramount to ensuring citizens' trust in the system. Currently, a significant amount of the medical field utilizes digital tools in order to improve workflow, logging, medical accuracy, and more. The use of digital means is only expected to continue to increase, which entails that robust systems are needed when handling, processing, and using data related to millions of individuals.

Artificial intelligence (AI) is an emerging field that has seen a significant increase in usage when working with medical imaging. However, methods related to AI rely heavily on large amounts of high-quality, annotated data. This is hard to come by for many reasons. Patient privacy, data ownership, and copyright often prevent researchers and developers from gathering enough real-world medical images to develop new AI solutions. Additionally, radiologists and other healthcare experts need to review and approve all images to ensure high data quality, but annotating these images is a difficult and slow process. Healthcare data distribution is also for the most part non-standardized, so national distribution solutions are needed if AI solutions are to be offered to a nation's citizens.

To alleviate the aforementioned issues, this thesis investigates how knowledge generation can be improved with the help of existing and new data and how it can be used in the context of medical image segmentation. An architecture for automatically collecting and handling data is proposed and developed. It uses a three-component structure, with an interface between them allowing for AI model training, exporting, usage, and more. Image annotation and consent sharing are handled in their own interface. Digital twins, i.e. \textit{digital representations} of citizens' health status and characteristics, are generated to keep track of data associated with an individual in real-time.

Experiments conducted show that state-of-the-art technology and methodology are indeed effective when used in conjunction with digital twins. Using decentralized learning as an alternative to centralized learning is powerful and able to retain citizen privacy. The proposed architecture is functional on a smaller scale, but further testing is needed to ensure that it is deployable and efficient on a large scale.