Food intake monitoring using neural networks based on swallowing sound data
Abstract
Kunstig Bukspyttkjertel systemer er avhengige av Kontinuerlig Glukose Overvåkningssystemertil å måle blodsukkernivået, og basert på denne målingen beregnesinsulindosen og avgis via en insulinpumpe. Disse systemer er derimot ikkeperfekte og lider av tidsforsinkelser fra starten på måltidet er oppdaget fremtil insulin er administrert. Pasienter er påkrevd å kunngjøre måltids inntaket itillegg til å kalibrere systemet på daglig basis. I et tidligere prosjekt ble arbeidetutført av Konstanze K. om automatisk deteksjon på starten av måltidet ved brukav tarm lydopptak videreført, og svelge lydopptak ble innført. Dette prosjektetviderefører det arbeidet og tilpasser det slik at kun lydopptak av svelgelyderbenyttes. I tillegg, ble en tale, måltidsstart, mattype, og svelge detektor byggetfor å overvåke matinntaket, dette inkluderer varigheten på måltidet, mattype,og antall svelger. Dette studiet har visst potensialet av å bruke svelge lydopptaktil å forbedre og unngå ulempene med en kunstig Bukspyttkjertel.
På første delen av prosjektet ble 10 svelge lydopptak brukt til å bygge enmåltidsstart og en tale detektor. Ved å bruke disse opptakene ble effektspektraltetthetfeatures beregnet, og brukt til å trene og bygge en Multilayer Perceptronklassifiseringsmodell. Tale detektoren hadde en nøyaktighet og en F1 score på99%, mens måltidsstart detektoren hadde en nøyaktighet og en F1 score på95%.
På den andre delen av prosjektet, ble 20 nye opptak tatt for å bygge en mattypeog en svelge detektor. Disse opptakene ble hentet ved hjelp av to forhåndsvalgtemattyper, havre og salat. Opptakene ble samlet ved hjelp av to personer, hvorhvert opptak varte i ca. 30 min til 35 min, og mikrofonene som ble benyttetfor å fange svelgelydene ble plassert rett over kragebeinet på halsen. Ved åbruke disse opptakene, ble Mel spektrogram features beregnet og brukt til ålage en Convolutional Neural Network klassifiseringsmodel. Svelge detektorenhadde en nøyaktighet på 93% og en F1 score på 92%, imens mattype detektorenhadde en nøyaktighet og en F1 score på 96%. Artificial Pancreas systems rely on Continuous Glucose Monitoring systems tomeasure blood glucose levels and based on that measurement, the insulin doseis calculated and administered through an insulin pump. However, these systems are not perfect and suffer from time delays from the onset of the mealuntil the meal is detected and insulin is administered. Patients are requiredto announce their meal intake and also calibrate the system by taking a fingerstick blood test on a daily basis. In a previous project, the work done byKonstanze k. on automatic meal onset detection using bowel sound recordingswas continued, and swallowing sound recordings were introduced. This projectcontinues the previous work and adapts such a system using only swallowingsound recordings. Furthermore, speech, meal onset, meal type, and swallowingdetectors were built to monitor the food intake, this includes the duration ofthe meal, the meal type, and the number of swallows. This study showed thepotential of using swallowing sound recordings to improve and work aroundthe downsides of Artificial Pancreas systems.
For the first part of the project, 10 swallowing recordings were used to builda meal onset and a speech detector. Using these recordings, Power SpectralDensity features were extracted and used for training and building MultilayerPerceptron classification models. The speech detector had an accuracy and anF1 score of 99%, while the meal onset detector had an accuracy and an F1 scoreof 95%.
For the second part of the project, 20 new recordings were acquired to builda meal type and a swallowing detector. These recordings were acquired usingtwo pre-selected meals, oats and salad. The recordings were obtained usingtwo subjects, where each recording was about 30 min to 35 min, and the microphone used for capturing the swallowing sounds was placed just above thecollar bone on the neck. Using these recordings, Mel spectrogram features were extracted and used to build Convolutional Neural Network classification models.The swallowing detector had an accuracy of 93% and an F1 score of 92%,while the meal type detector had an accuracy and an F1 score of 96%.