Machine Learning for Adverse Event Analysis in Healthcare: Identifying Opportunities and Conducting a Classification Study

Abstract

Uønskede hendelser er en nøkkelindikator for pasientsikkerhet på sykehus. Slike hendelser innebærer utilsiktede pasientskader, og selv om noen av disse er uunngåelige, viser forskning at mange uønskede hendelser kan forhindres. For å bedre pasientsikkerheten er det viktig å jobbe systematisk med å analysere hendelsene og derav identifisere forebyggende tiltak.

Denne masteroppgaven har som mål å utforske hvordan anvendelse av maskinlæring kan bidra i prosessen med å håndtere uønskede hendelser. Med utgangspunkt i 46,087 avviksrapporter, rapportert mellom 2015 og 2022, utforsker studien hvordan maskinlæring kan anvendes på den tekstlige dataen i disse rapportene for å forbedre dagens avvikshåndtering.

Masteroppgaven har to hovedmål: å identifisere områder innenfor avviksrapportering og -analyse hvor maskinlæring kan bidra til forbedring, og å utføre enmaskinlæringsstudie for ett av de identifiserte alternativene. Studien har som mål å undersøke mulighetene og potensialet til det valgte alternativet. For å skaffe innsikt om hvordan avvikshåndteringen foregår i dag, samt identifisere områder for forbedring, har det blitt gjennomført forskningsintervjuer med helsepersonell som er eksperter på området.

Et av de identifiserte alternativene var klassifisering av uønskede hendelser i henhold til de Norsk kodeverk for uønskede pasienthendelser NOKUP. Automatisk klassifisering kan forbedre den nåværende avvikshåndteringen ved å redusere feilklassifisering og inkonsekvent kategorisering, noe som i dag forhindrer nøyaktig analyse og identifisering av forebyggende tiltak. Basert på tilbakemeldinger fra ekspertene ble dette alternativet valgt for maskinlæringsstudien.

Maskinlæringsstudien hadde som mål å verifisere potensialet for klassifisering av avviksrapporter i henhold til NOKUP kategoriene. To ulike klassifiseringsteknikker, Näive Bayes (NB) og Support Vector Machine (SVM), ble implementert og evaluert for denne klassifiseringsoppgaven. Flere eksperimenter ble gjennomført for å optimalisere klassifiseringmodellene. NB fikk en endelig macro F1-score på 0.7182, og SVM fikk et resultat på 0.7165. Selv om disse resultatene kan bli ansett som pålitelige i andre domener, er det nødvendig med videre forbedring av modellene før integrering i helsesystemer. Derimot viser de potensial for automatisk klassifisering av uønskede hendelser.

Masteroppgaven har lagt et grunnlag for automatisk klassifisering av uønskedehendelser i helsesektoren, og demonstrert potensialet i å anvende maskinlæring på avviksrapporter. I samarbeid med helsepersonell har det også blitt identifisert to andre potensielle bruksområder for maskinlæring innen avvikshåndtering som skaper innledende grunnlag for fremtidig forskning.

Adverse events, which refer to unintended harm caused to patients, serve as a crucial indicator of patient safety within hospitals. While some are unavoidable, research has revealed that many adverse events are preventable. Thus it is crucial for hospitals to have a systematic approach to address adverse events, enabling analysis and insights for preventive measures to enhance patient safety.

This thesis aims to research how applications of machine learning can aid in improving the adverse event reporting and analysis process at St. Olav’s Hospital. With access to a dataset of 46,087 adverse event reports spanning from 2015 to 2022, the thesis explores how the textual data in the reports can be utilized with machine learning to enhance the current process.

The thesis has two main objectives: firstly, identifying potential areas within the adverse event reporting and analysis process where machine learning can contribute to improvement, and secondly, selecting a specific area to conduct a machine learning study in order to validate its feasibility and reliability. To gain insights into the current process, interviews were conducted with clinicians and experts. These interviews provided valuable insights into the existing process and helped identify areas that could benefit from enhancements.

One area identified from the interviews where the automatic classification of adverse events according to the National guidelines for classification of patient-related adverse events (NOKUP). This application can potentially improve the current process by addressing issues such as misclassification and inconsistent categorization that hinder accurate analysis and identification of preventive measures. With these benefits in mind and confirming the interest of the clinicians, this application was selected for the machine learning study.

The machine learning study aimed to verify the feasibility of the classification of adverse events into predefined categories. It explored the potential of two distinct classification techniques, Näive Bayes (NB) and Support Vector Machine (SVM). Several experiments were conducted to optimize the performance of both classifiers. The resulting macro F1-score for NB was 0.7182 and 0.7165 for SVM. Although these results could be considered reliable in other domains, further improvement is needed before the models could be implemented in a healthcare context. However, they demonstrate the potential of automatic classification of adverse events.

Thus, this thesis has provided a foundation for the automatic classification of adverse events, demonstrating its significance and potential. Moreover, in collaboration with clinicians, two additional machine learning applications have been identified, providing valuable insights for future research directions.