Utilize both electrocardiogram and audio recordings for improved machine learning-based meal onset detection

Abstract

Diabetes er en kronisk sykdom som kan føre til alvorlige helsekomplikasjoner over tid. Å opprettholde stabile blodsukkernivåer er avgjørende for å unngå langsiktige komplikasjoner, og mye ressurser er lagt inn på å utvikle en helautomatisk kunstig bukspyttkjertel som regulerer blodsukkernivået til diabetespasienter. En av de store utfordringene er den plutselige økningen i blodsukkernivået ved inntak av måltid, hvor en måltidsdetektor er tenkt å kunne detektere måltidet og man kan sette en preventiv insulindose. Bruken av EKG og lydopptak fra halsregionen har i tidligere prosjekter vist lovende resultater for måltidsdeteksjon. Denne oppgaven tar høyde på analysere svakhetene til den EKG-baserte modellen som har vist best resultat per dags dato, foreslå og sammenlikne utbedringer på modellen.

Et datasett bestående av måltider med både EKG-opptak og lydopptak fra halsregionen fra ulike personer har blitt brukt. Først ble EKG-opptakene i datasettet analysert, hvor det ble funnet at det eksisterer forskjeller i EKG-en mellom når personene ikke spiser sammenliknet med når de spiser. Deretter ble den beste EKG-modellen fra tidligere prosjekter interpretert, hvor det ble funnet at modellen sliter med å skille måltid mot ytre påvirkninger. Videre ble en prosesseringspipeline som har som mål å renske datasettet for de mest støyete EKG segmentene implementert. Tilsammen førte forbedringene og et mer prosessert datasett til forbedringer i måltidsdeteksjonen, både hva gjelder antall detekterte måltider, deteksjonstid og AUC score. Det ble derimot funnet at dette ikke ga en pålitelig nok måltidsdetektor.

Derfor ble en modell som bruker både EKG og lydopptak fra halsregionen trent opp. Dette ga de beste resultene oppnådd i dette prosjektet, i form av høyest andel måltider detektert, lavest deteksjonstid og høyest AUC score. Det ble konkludert med at en måltidsdetektor er nærmest realisertbart ved at både EKG og lydopptak fra halsregionen brukes. Det konkluderes også med at resultatene fra dette prosjektet med stor sannsynlighet ikke er de beste som kan oppnås, da det grunnet lite tid ikke ble mulig å utforske alle mulighetene feature selection og modell arkitekturer som kan gi enda bedre resultater. Det anbefales derfor fra denne oppgaven at ytterligere forskning på måltidsdeteksjon ved bruk av EKG og lydopptak bør gjøres for at en måltidsdetektor med god nok performance realiseres.

Diabetes is a chronic disease that can lead to serious health complications over time. Maintaining stable blood glucose levels is crucial to avoid long-term complications, and considerable resources have been invested in developing a fully automated artificial pancreas that regulates blood glucose levels in diabetic patients. One of the major challenges is the sudden increase in blood glucose levels after meal intake, where a meal detector is thought to be able to detect the meal and a preventive insulin dose can be administered. The use of ECG and sound recordings from the throat region has shown promising results for meal detection in previous projects. This thesis aims to analyze the weaknesses of the ECG-based model that have shown the best results to date, propose and compare improvements to the model.

A dataset consisting of meals with both ECG recordings and sound recordings from the throat region from different individuals was used. First, the ECG recordings in the dataset were analyzed, and it was found that there are differences in the ECG between fasting and eating. Next, the best ECG model from previous projects was interpreted, and it was found that the model struggles to distinguish meals from external disturbances. Furthermore, a processing pipeline that aims to clean the dataset for the noisiest ECG segments was implemented. In total, the improvements and a cleaned dataset led to improvements in meal detection, in terms of the number of detected meals, detection time, and AUC score. However, it was found that this did not provide a meal detector with satisfactory performance.

Therefore, a model that uses both ECG and sound recordings from the throat region was created. This yielded the best results achieved in this project, in terms of the highest proportion of meals detected, lowest detection time, and highest AUC score. It was concluded that a meal detector is closest to being realized by using both ECG and sound recordings from the throat region. It is also concluded that the results from this project are most likely not the best that can be achieved, as due to time constraints it was not possible to explore all the possibilities of feature selection and model architectures that can give even better results. It is therefore recommended from this thesis that further research on meal detection using ECG and sound recordings should be conducted in order to realize a meal detector with good enough performance.