| dc.description.abstract | WHO avslører at 1,71 milliarder individer globalt er påvirket av ulike muskel- og skjeletttilstander, slik som intakte muskler og abnormiteter i bein og ledd. Blant disse er brudd de vanligste. Brudd er kjent som brudd eller diskontinuiteter i beinene. Blant frakturer er distale radius- eller ulnabrudd vanlige, ofte kjent som håndleddsbrudd. I USA opplever i gjennomsnitt 162 av hver 100 000 mennesker håndleddsbrudd. Gitt at håndleddsbrudddiagnoser ofte forekommer på akuttmottak, er det stor sannsynlighet for feildiagnostisering på grunn av faktorer som manglende tilgjengelighet av radiologer, legers manglende erfaring, tretthet og stor arbeidsbelastning.
Brudddiagnostikk eller røntgentolkningsfeil kan reduseres hvis røntgenbilder alltid leses umiddelbart av radiologer eller automatisk. De siste årene har dyp læring revolusjonert medisinsk bildebehandling ved å forbedre nøyaktigheten av diagnose, deteksjon og behandling betydelig på tvers av ulike medisinske tilstander. Håndleddsbrudd er et av de områdene som kan ha stor nytte av datastøttet diagnose.
I vår forskning ligger vårt fokus på å automatisere deteksjon og klassifisering av håndleddsbrudd, ved å bruke dyplæringsmodeller kombinert med forklarbar kunstig intelligens (XAI) og LLMs. For å oppnå dette har vi brukt SoTA objektdeteksjonsmodellene som YOLOv9 og sanntidsdeteksjonstransformator og anskaffet et godt kuratert offentlig tilgjengelig røntgendatasett for håndleddstraumer, som omfatter 20 327 håndleddsrøntgenbilder. Ved å bruke SoTA objektdeteksjonsteknikker og godt kuratert datasett har vi vellykket automatisert frakturdeteksjon i håndleddsrøntgen. I tillegg gjennomførte vi en komparativ studie av SoTA klassifiseringsmodeller for frakturklassifisering, og identifiserte til slutt YOLO som den mest effektive modellen for denne oppgaven. På felt som medisin mangler dyplæringsmodeller tillit, så de trenger forklaring og tolkning. For å oppnå dette har vi brukt forklarbare AI-teknikker som EigenCAM for å forstå hvordan disse black-box-modellene når en konklusjon. Videre undersøkte vi potensialet til LLMs i å klassifisere håndleddsfrakturer og generere forklaringer på anomalier observert i røntgenstråler, og dermed styrket vår forståelse og tillit til de diagnostiske resultatene. I tillegg undersøkte vi bruken av LLMs for bildeklassifiseringsoppgaven. | |
| dc.description.abstract | The World Health Organization (WHO) reveals that 1.71 billion individuals globally are affected by various musculoskeletal conditions, such as intact muscles and abnormalities in bones and joints. Among those, fractures are the most common ones. Fractures are known as breaks or discontinuities in the bones. Among fractures, distal radius or ulna fractures are common, commonly known as wrist fractures. In the US, on average, 162 out of every 100,000 people experience wrist fractures. Given that wrist fracture diagnoses often occur in emergency rooms, there is a high probability of misdiagnosis due to factors such as the unavailability of radiologists, physicians’ lack of experience, fatigue, and heavy workload.
Fracture diagnostic or X-ray interpretation errors can be reduced if radiographs are always read instantly by radiologists or automatically. In recent years, deep learning has revolutionized medical imaging by significantly enhancing the accuracy of diagnosis, detection, and treatment across various medical conditions. Wrist fractures are one of those areas that can benefit significantly from computer-aided diagnosis.
In our research, our focus lies on automating the detection and classification of wrist fractures, employing deep learning models coupled with explainable artificial intelligence (XAI) and Large Language Models (LLMs). To achieve this, we have utilized the State-of-the-art (SoTA) object detection models such as YOLOv9
and real-time detection transformer and acquired a well-curated publically available wrist trauma X-ray dataset, encompassing 20,327 wrist radiographs. Using SoTA object detection techniques and well-curated dataset we have successfully automated fracture detection in wrist X-rays. Additionally, we conducted a comparative study of SoTA classification models for fracture classification, ultimately identifying YOLO as the most effective model for this task. In fields like medicine, deep learning models lack trust, so they need explainability and interpretability. To achieve this, we have used explainable AI techniques such as EigenCAM to understand how these black-box models are reaching a conclusion. Furthermore, we explored the potential of LLMs in classifying wrist fractures and generating explanations for anomalies observed in X-rays, thus enhancing our understanding and trust in the diagnostic outcomes. Additionally, we examined the use of LLMs for the image classification task. | |