Suicide Crisis Syndrome in a Norwegian Acute Psychiatric Unit: Exploring Risk Factors using Statistical Learning and Inference
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3132573Utgivelsesdato
2023Metadata
Vis full innførselSamlinger
Sammendrag
In this thesis, we investigate the use of statistical learning techniques to make inference about the Suicidal Crisis Syndrome (SCS), and to predict patients into a high and low level SCS symptoms group without relying on self-report measures of suicidal ideation. The objective is to explore differences between patients with high and low levels of SCS symptoms upon admission to a Norwegian acute psychiatric department. We used data from the genetic and affective prediction (GAP) study and from the acute agitation (AA) study, which are two prospective and register based cohort studies conducted at the Department of Østmarka, St. Olav’s hospital (Høyen et al. 2022).
The data set was first divided into a training and a test set. The training set consists of observations from 582 patients on 19 explanatory variables, with a missing percentage of 5.77%. To identify the most influential explanatory variables in the data set, we used the eXtreme Gradient Boosting method (XGBoost) trained by the H2O.ai Automatic Machine Learning (AutoML) tool as a model selection method on the training set. XGBoost is a tree-based ensemble learning algorithm, designed to handle large data sets and missing data. The SHapley Additive explanation (SHAP) method, a technique for explainable artificial intelligence (XAI), was used to interpret the output from the AutoML XGBoost model, allowing us to identify important explanatory variables and explore interaction effects without the need for explicit specification. Handling missing data was addressed through multiple imputation. Imputation models was constructed to impute the missing explanatory variables, and logistic regression was then applied in the analysis step. The results of the analysis step were pooled together with Rubin’s rules into a combined estimate with variance. Finally, predictions were made on the test set. We assessed the logistic regression and XGBoost model by comparing the area under the receiver operating characteristic (ROC) and precision recall (PR) curve. The XGBoost model exhibited slightly higher values for the area under the ROC curve and moderately higher PR curves compared to the statistical analysis based on multiple imputation combined with logistic regression. These results suggest a potential loss of predictive power due to the reduction in the number of explanatory variables. Finally, we compare the results of the statistical analysis with multiple imputation and logistic regression to a complete case analysis.
The findings of this thesis suggest that the concept of the Suicide Crisis Syndrome could be valuable in Norwegian acute psychiatric populations. Furthermore, we identified certain SCS symptoms that are currently not used in Norwegian acute psychiatric units, indicating a potential for improvement in the clinical assessment of patients in order to use the SCS. Importantly, to the best of our knowledge, this study represents one of the first applications of machine learning techniques to suicide inference and prediction in Norway.
The theoretical contributions of this thesis lie in providing a comprehensive summary and explanation of the existing literature on prediction after multiple imputation. A significant strength of this work is the incorporation of the test set, which has been frequently overlooked in prior literature and in missing data analysis. Another key strength of this thesis is the derivation of the combined predictions and their estimated variance. The consideration of estimated variance takes into account the uncertainty introduced by imputing missing values, allowing for a more reliable estimation of the predictive performance. Additionally, we provide an up to date summary of the literature and studies on precision-recall curves, highlighting the most important aspects of these curves. Denne masteroppgaven undersøker bruken av statistiske læringsmetoder for å trekke slutninger om Suicidal Crisis Syndrome (SCS) og for å predikere pasienter til et høyt eller lavt nivå av SCS- symptomer som ikke baseres på selvrapportering av suicidalitet. Formålet er å utforske forskjeller mellom pasienter med høye og lave nivåer av SCS-symptomer ved innleggelse på en norsk akuttpsykiatrisk avdeling. Det er benyttet data fra Genetic and Affective Prediction (GAP) studien og Acute Agitation (AA) studien, som er to prospektive kohortstudier gjennomført ved avdeling Østmarka, St. Olavs sykehus (Høyen et al. 2022).
Datasettet ble først delt inn i et trenings og testsett. Treningssettet består av observasjoner fra 582 pasienter fra 19 forklaringsvariabler, med en manglende dataprosent på 5.77%. For å identifisere de viktigste variablene i datasettet, brukte vi eXtreme Gradient Boosting metoden (XGBoost) trent av H20.ai sitt Automatic Machine Learning (AutoML) verktøy som en metode for modellseleks jon. XGBoost er en tre-basert ensemble modell, konstruert for å håndtere store datasett samt manglende data. SHAP-metoden, en teknikk for forklarbar kunstig intelligens (XAI), ble benyttet for å tolke resultatene fra ensemble modellen. På denne måten kunne vi identifisere de viktigste variablene og utforske interaksjonseffekter uten behov for eksplisitt spesifikasjon. Manglende data ble håndtert ved hjelp av multippel imputering. Imputasjonsmodeller ble konstruert for å imputere forklaringsvariablene, og deretter ble logistisk regresjon brukt i analysemodellene. Resultatene fra analysene ble kombinert med Rubins regler for å gi et samlet estimat med varians. Til slutt ble det gjort prediksjoner på testsettet. Vi har vurdert den logistiske regresjonen og XGBoost-modellen ved å sammenligne arealet under receiver operating characteristic (ROC) og precision recall (PR) kurvene. XGBoost-modellen viste noe høyere verdier for arealet under ROC-kurven og moderat høyere PR-kurver sammenlignet med den statistiske analysen basert på multippel imputering med logistisk regresjon. Resultatene tyder på en potensiell reduksjon i prediktiv kraft grunnet færre forklaringsvariabler. Til slutt sammenlignes resultatene av den statistiske analysen basert på multippel imputering med logistisk regresjon med en analyse basert på komplett data.
Funnene i oppgaven tyder på at SCS diagnosen kan være verdifull i norske akuttpsykiatriske populasjoner. Videre identifiserte vi to SCS-symptomer som for øyeblikket ikke benyttes ved norske akuttpsykiatriske avdelinger, som indikerer et potensial for forbedring i den kliniske vurderingen av pasienter for å ta i bruk SCS. Denne oppgaven representerer, så langt vi vet, en av de første anvendelsene av maskinlæringsmetoder for inferens og predikasjon av selvmordsatferd i Norge.
De teoretiske bidragene i denne avhandlingen er blant annet en omfattende oppsummering og forklaring av den eksisterende litteraturen om prediksjon etter multippel imputering. En betydelig styrke i dette arbeidet er inkluderingen av et testsett, som ofte blir oversett i tidligere litteratur og i manglende dataanalyser. En annen styrke i denne masteroppgaven er utledningen av de kombinerte prediksjonene og deres estimerte varians. Ved ˚a ta hensyn til usikkerheten som innføres ved imputering av manglende verdier kan vi få et mer pålitelig estimat av prediktiv ytelse. I tillegg gir vi en oppdatert oppsummering av litteraturen og studiene om precision-recall-kurver, der de viktigste aspektene ved disse kurvene fremheves.