Generalized workflow with uncertainty quantification for detecting abnormalities in lung sounds

Abstract

Mål: Hovedmålet med denne masteroppgaven er å finne en generaliserbar prosedyre for å detektere unormale lungelyder. Den foreslåtte prosedyren bør være generell nok til å kunne bli benyttet til andre lydbaserte klassifiseringsproblemer. Påliteligheten til den autonome klassifiseringen er spesielt viktig i medisinsk data, dermed vil en usikkerhetsanalyse være nødvendig.

Metode: Tromsøundersøkelsen, som er en av Norges største befolkningsundersøkelser, har samlet inn en rekke lungelyder, og angitt hvilke typer uregelmessigheter som finnes i disse lungelydene. Dette datasettet med lungelyder og markeringene; crackle, wheeze og normal, ble brukt for å utrede en forbehandlingsprosedyre. Eksperimenter viste et behov for segmentering av lungelyden. En rekke tidsserieanalyse-teknikker ble utredet, og sammenliknet basert på nøyaktighet og skalerbarhet. Kun de mest skalerbare algoritmene ble testet, ettersom lyddata ofte kan ha betraktelig størrelse. To metoder ble undersøkt for usikkerhetsanalyse; Convolutional Neural Network med Monte Carlo Dropout og Deep Ensemble.

Resultater: Å skille de atypiske lunge lydene fra de normale viste seg å være vanskeligere enn først antatt, grunnet det uregelmessige signalet. Dette problemet satte søkelyset på hvordan dagens forskning ofte oppgir upålitelige klassifiseringsresultater, på grunn av datalekkasje. Ved å ekstrahere enkle statistiske egenskaper fra tidsdomenet og Mel-frekvensdomenet, og videre bruke dette til å kategorisere lungelyden, ble det oppnådd en nøyaktighet som er sammenlignbar med de fremste tidsserieanalyse-teknikkene. Deep Ensemble viser tendenser til å gi bedre usikkerhets-estimater enn Monte Carlo Dropout.

Konklusjon: Resultatene foreslår at det enda er en stor jobb igjen før autonom lungelyd analyse kan bli brukt i praktiske situasjoner. Frem til en høyst nøyaktig metode er utviklet, vil usikkerhetsanalyse spille en viktig rolle. Fremtidig arbeid burde fokusere på automatisk segmentering av lungelyden, samt design av opptaksprosedyre.

Objective: The main objective for this master's thesis is to find a generalized approach for detecting abnormalities in a lung sound. This generalized workflow should be abstract enough to apply to other audio time-series data. Estimating the uncertainty in the final classification should be included in the workflow to meet the safety-critical model demand in the field of medical diagnosis.

Method: Tromsøundersøkelsen has gathered and labeled a substantial dataset of lung sounds, which we have been granted access to. Using this dataset a preprocessing procedure was found through an empirical investigation, where segmentation proved to be an important step. Furthermore, the state-of-the-art within time-series classification was identified, in terms of performance and scalability. Only the leading scalable algorithms were applied to the lung sound classification problem. Finally, a convolutional neural network with Monte Carlo dropout and a Deep Ensemble were employed to estimate uncertainty.

Results: Discriminating the anomalous lung sounds from normal lung sounds proved to be demanding, because of the noisy nature of the signal. This issue highlighted results in literature that achieved deceitfully high accuracy because of data leakage. Utilizing simple statistics in the time domain and Mel-frequency domain, the proposed approach achieved on par performance results, compared to state-of-the-art time-series classification algorithms. The Deep Ensemble approach seems superior to the Monte Carlo dropout in estimating uncertainty, after conducting experiments with increasingly manipulated data.

Conclusion: The results suggest that there is still a long way to go before autonomous lung sound classification can be applied in a practical setting. Until classification methods achieve stronger results, the main focus should be toward utilizing models that "know what they do not know". Upcoming work ought to prioritize automatic segmentation of lung sounds, and design data acquisition methods that will simplify digital analysis.