Early evaluation of the transition from an analog to an electronic surgical logbook system in Sierra Leone

Abstract

Bakgrunn Kirurgiske loggbøker blir ofte benyttet som verktøy for kvalitetssikring av opplæring innen kirurgi. Elektroniske loggbøker blir stadig mer tatt i bruk i områder med lav tilgang på ressurser, likevel foreligger det lite forskning som undersøker kvaliteten av disse. Formålet med denne studien er å evaluere kvaliteten av et appbasert elektronisk system av kirurgiske loggbøker under implementeringsfasen i et lavinntektsland, å sammenligne det nye systemet med et tidligere system bestående av analoge kirurgiske loggbøker og å identifisere utfordringer med det nye, heldigitale systemet.

Metode Oppføringer i det elektroniske loggboksystemet ble kryss-sjekket med sykehusjournaler og kategorisert som samsvarende eller overrapporterte. Videre ble sykehusjournalene undersøkt for underrapporterte kirurgiske inngrep. Mixed-effects-logistisk regresjon ble benyttet for den statistiske analysen. Det ble i tillegg gjennomført semi-strukturerte intervjuer med brukerne av det elektroniske loggboksystemet.

Resultater 278 oppføringer i den elektroniske databasen og 379 inngrep fra sykehusjournalene tilhørende 14 brukere ble analysert. 64,2 % av oppføringene i databasen samsvarte med inngrep i sykehusjournalene. Videre var 35,8 % av databaseoppføringene overrapportere og 45,8 % av inngrepene i sykehusjournalene underrapporterte. En tidligere studie som undersøkte et analogt kirurgisk loggboksystem under de samme betingelsene, viste at 73,1 % av oppføringene var samsvarende. Intervjuer avdekket en generell tilfredshet hos brukerne, men også områder med forbedringspotensiale, inkludert et behov for bedre opplæring i bruken av systemet, modifikasjoner for å øke brukervennligheten og bedre tilgang på nødvendig teknologi.

Konklusjon For å evaluere kvaliteten av helsehjelp kreves det et pålitelig dokumentasjonssystem. En tidlig evaluering av et elektronisk kirurgisk loggboksystem i et lavinntekstland viste at det bør utøves varsomhet ved bruk av innsamlet data. Den kvantitative analysen og sammenligningen med et analogt system indikerer at påliteligheten av det elektroniske systemet må forbedres. Brukerintervjuene viste at digitalisering av loggboksystemet var etterlengtet, men avdekket også viktige forbedringsområder. Det å få kjennskap til dette på et tidlig stadium vil være nyttig for planlegging og tilrettelegging av videre implementering, og kan bidra til å øke påliteligheten av systemet.

Background Surgical logbooks are a commonly applied tool for quality assurance of surgical training. Electronic logbooks are increasingly applied in low-resource settings but there is limited research on their quality. The aim of this study is to evaluate the quality of an app-based surgical e-logbook system shortly after implementation in a low-income country, comparing it to the quality of a previous system of analog surgical logbooks, and to identify challenges with the new fully digital system.

Methods Entries in the e-logbook system were cross-checked with hospital records and categorized as match or over-reported. Moreover, the hospital records were checked for under-reported procedures. Mixed effects logistic regression was used for the statistical analysis. Additionally, semi-structured interviews were conducted with the users of the e-logbook system.

Results 278 e-logbook database entries and 379 procedures in the hospital records from 14 users were analyzed. 64.2% of the database entries were matches of procedures in the hospital records. Moreover, 35.8% of the database entries were over-reported and 45.8% of the procedures in the hospital records were under-reported. A former study of an analog surgical logbook system in the same setting revealed that 73.1% of the entries were matches or close matches. Interviews with the users revealed overall satisfaction but also identified potential areas of improvement, including the need for more training in the use of the system, modifications to improve user-friendliness, and better access to the necessary technology.

Conclusions A reliable system for documentation is necessary to evaluate the quality of health workforce training. The early evaluation of a surgical e-logbook system in a low-income country revealed that acquired data should be applied with caution. The quantitative analysis and comparison with an analog system suggest that the e-logbook system needs to be improved in terms of accuracy. Interviews with the users have shown that digitalization of the logbook system was a much-needed innovation but has also identified important areas of improvement. Recognition of these aspects at an early stage facilitates guidance and adjustment of further implementation and might improve the accuracy of the system.