Exploring Explainable AI Adoption in Medical Diagnosis and the Empowering Potential of Collaboration

Abstract

Helsesektoren trenger å inkludere fremtredende eksempler på teknologi som sømløst muliggjør vellykket integrasjon av AI i klinisk praksis. Mens mange systemer utformet for klinikere kan fungere riktig, må de ofte tilpasses klinikerens daglige arbeidsflyt, noe som begrenser adopsjonen sammenlignet med hva som er tiltenkt. Ettersom samfunnet i økende grad er avhengig av AI-systemer for å løse komplekse problemer, spesielt med tanke på vår nylige erfaring med pandemien i 2020, må klinikere ha tillit til disse systemene. Etiske dilemmaer oppstår siden beslutningene tatt av klinikere påvirker mange menneskeliv, og det er en mangel på tillit og åpenhet sammen med økt bruk av AI-systemer. Klinikeren må ha tillit til AI-systemet for at pasienten skal ha tillit til at legen tar riktig valg hvis AI-systemet veileder klinikeren. Medisinsk diagnose er inngangsporten til helsesektoren; derfor kan mange ressurser minimeres ved å stille en mer nøyaktig diagnose eller eliminere friske pasienter.

Multicase-studiemetodologien i min masteroppgave fasiliterer datainnsamlingen gjennom førstehåndsobservasjon av hendelser og intervjuer med sentrale interessenter, inkludert klinikere og utviklere. Denne tilnærmingen muliggjør en grundig undersøkelse av utfordringene som klinikere og utviklere av forklarbar kunstig intelligens (XAI)-systemer står overfor, og gir flere perspektiver for omfattende analyse.

Klinikere erkjenner at AI-systemer som brukes til medisinsk diagnose, bør være transparente og forklarlige, slik at de kan ha tillit til resultatene og forstå hvordan systemet fungerer. De er bekymret for AI-modellers skjevheter, for eksempel manglende inkludering av ulike demografier eller datasett med ujevn datakvalitet. Studiet konkluderte med at det er avgjørende å løse disse skjevhetsutfordringene og gjøre AI-resultater forklarlige og transparente for klinikere. Selv om studiet ikke fullstendig analyserte de spesifikke kriteriene i den europeiske reguleringen for medisinsk utstyr (EU MDR), er samarbeid mellom utviklere og klinikere nødvendig for å oppnå gjennomsiktighet kunstig intelligens (AI)-systemer til brukernes behov.

Generelt sett bidrar dette studiet til å forstå utfordringene og potensielle strategier for å håndtere dem i utviklingen og implementeringen av AI-systemer for medisinsk diagnose. Ved å møte disse utfordringene kan feltet gjøre betydelige fremskritt i å utnytte AI-teknologi på en effektiv måte i helsetjenesten og forbedre pasientresultatene.

The healthcare sector needs to include prominent examples of technology that seamlessly enables the successful integration of AI into clinical practice. While many systems designed for clinicians may function correctly, they often need to align with the clinicians' daily workflow, leading to limited adoption compared to what is intended. Also, because society is increasingly relying on AI systems to solve complex issues, at least in light of our recent experience with the pandemic in 2020, clinicians must have trust in these systems. Ethical dilemmas are created since the decisions made by clinicians impact many human lives, and there is a lack of trust and transparency along with an increase in the use of AI systems. The clinician must trust the AI system in order for the patient to trust that the doctor will make the appropriate choice if the AI system directs the clinician. Medical diagnosis is the the entry point in to the healthcare sector; therefore, many resources can be minimized by making a more accurate diagnosis or eliminating healthy patients.

The multicase study methodology in my master thesis facilitates data collection through firsthand observation of events and interviews with key stakeholders, including clinicians and developers. This approach facilitates a thorough examination of the challenges encountered by clinicians and developers of Explainable Artificial Intelligence (XAI) systems, offering multiple perspectives for comprehensive analysis.

Clinicians acknowledge that AI systems used for medical diagnosis should be transparent and explainable so that they can trust the results and understand how the system works. They are concerned about AI model biases such as failing to incorporate distinct demographics or datasets having uneven data quality. The study concluded that it is critical to solve these bias challenges and make AI outputs explainable and transparent to clinicians. Although the study did not completely analyze the specific criteria of the European Union Medical Devices Regulation (EU MDR), collaboration between developers and clinicians is necessary to achieve transparent Artificial Intelligence (AI) systems to the needs of the users.

Overall, this study contributes to understanding the challenges and potential strategies to mitigate them in the development and implementation of AI systems for medical diagnosis. By meeting these challenges, the field can make significant progress toward effectively leveraging AI technologies in healthcare and improving patient outcomes.