| dc.description.abstract | Ved å bruke det kunstige nevrale nettverket 2D U-Net, tester denne masteroppgaven nøyaktigheten til 2D U-Net med formålet om å automatisk segmentere ondartede svultser i PET/MR-bilder av pasienter med metastatisk lymfom.
For Hodgkin- og Non-Hodgkin-lymfom er FDG PET/MR-segmenteringene viktige for prognose, stadieinndeling (staging) og responsvurdering av lymfompasienter. Manuelle segmenteringer er imidlertid tidkrevende og vanskelige i komplekse pasienttilfeller der en har høy sykdomsbyrde. Målet med dette prosjektet er å utvikle en automatisert metode for segmentering av kreftrammede lymfeknuter i PET/MR ved bruk av dyp læring (deep learning), nærmere bestemt et dypt kunstig nevralt nettverk. FDG PET/MR-baseline, interim- og behandlingsavslutningsbilder (EOT) av Hodgkin- og Non-Hodgkin-lymfompasienter ble analysert. To grupper radiologer og nukleærmedisinere har bidratt med klinisk lesing av PET/MR-bildene etter standardiserte protokoller. Imidlertid manglet de faktiske segmenteringene, m.a.o segmenterings fasiten, fra lymfomdatasettet, og disse var avgjørende for å implementere dyplæringsnettverket for en automatisert segmenteringsprosess. De manuelle segmenteringene som krevdes ble utført av forfatteren og validert av en nukleærmedisiner fra St.Olavs Hospital.
Den nevrale nettverksmodellen ble lært hvordan man utfører klassifiseringsoppgaver direkte fra bilder, dvs. nettverket ble opplært til å gjenkjenne mønstre fra et datasett bestående av 64 PET/MR-undersøkelser. Et 3-kanals multimodalt bilde, et RGB-bilde, bestående av PET, T2-HASTE og DWI med b = 800 s/mm^{2} ble brukt som input for algoritmen, og modellen ble lært til å gjenskape segmenteringene i grunnsannheten (segmenterings fasiten) ved å bruke en 2D U-Net-arkitektur.
Videre ble lymfomdatasettet delt inn i et 85/15-forhold for trening og testing som bestod av henholdsvis 53 og 11 PET/MR-undersøkelser. Både en 4-fold og 13-fold kryssvalidering ble utført for opplæringen av modellen. Valideringen resulterte i gjennomsnittlige Dice-score (overlappingsmål) på henholdsvis 0,61 og 0,63 for 4-fold og 13-fold modellene. Flere andre evaluaringer som tap, nøyaktighet, presisjon, tilbakekalling, negativ prediktiv verdi (NPV) og spesifisitet ble inkludert for voxel-nivåanalysen. Resultatene var 0,011, 0,97, 0,83, 0,11, 0,97, 0,99, henholdsvis for 4-fold valideringen og 0,065, 0,97, 0,90, 0.10, 0,97, 0,99, henholdsvis for 13-fold valideringen. Den gjennomsnittlige dice scoren til testpasientene var henholdsvis 0,29 og 0,32 for 4-fold og 13-fold kryssvalidering, noe som antyder en dårligere ytelse på nye og usette pasienter sammenlignet med PET/MR-undersøkelsene brukt i valideringen. Til tross for de generelt høye verdiene for evalueringsmetodene, ga den voxelbaserte analysen ingen god indikasjon på hvor nøyaktig modellen klarte å segmentere kreftlesjoner ettersom flertallet av vokslene i pasientene ble klassifisert som ekte negative (TN). Derfor ble det utført en lesjonsbasert analyse, og den avslørte at modellen ofte segmenterte færre lesjoner enn det som var tilstede i grunnsannheten. Dette indikerte at modellens hovedbegrensning var antallet falske negative predikerte kreftsvultser. Som en konsekvens, presterer modellen bedre på valideringsdataene enn for testdatasettet som ble ekskludert fra opplæringen.
For å konkludere, så segmenterer den trente 2D U-Net-modellen automatisk ondartede lymfeknutesvultser i 3-kanals multimodale bilder. Fremtidig arbeid bør fokusere på å forbedre overlappingsmålet dice score, co-registreringen, redusere antall uoppdagede tumorlesjoner, samt øke datasettet for å sikre en større variasjon i kohorten. Dette kan forbedre både treningen og resultatene. | |
| dc.description.abstract | Using the deep learning artificial neural network 2D U-Net, this project tests the accuracy of the 2D U-Net for the purpose of automatically segmenting malignant lesions in PET/MR images of patients with metastatic lymphoma.
For Hodgkin and Non-Hodgkin lymphoma, the FDG PET/MRI segmentations are important for prognosis, staging, and response assessment of lymphoma patients. However, manually segmentations are time-consuming and difficult in complex patient cases and for high disease burden. The aim of this project is to develop an automated method for segmentation of cancer-affected lymph-nodes in PET/MRI using a deep neural network.
FDG PET/MRI baseline, interim, and End-Of-Treatment (EOT) images of Hodgkin and Non-Hodgkin lymphoma patients were analyzed. Two groups of radiologist and nuclear medicine physicians have contributed with clinical reading of the PET/MR images following standardized protocols. However, the segmentation ground truth was missing from the lymphoma dataset, and it was crucial for implementing the deep learning network for an automated segmentation process. The manual segmentation required has therefore been performed by the author and validated by a nuclear medicine physician from St. Olavs Hospital.
The neural network model was taught how to perform classification tasks directly from images, i.e., the network was trained to recognize patterns from a dataset consisting of 64 PET/MRI examinations. A 3-channel multi-modal image, i.e., an RGB image, consisting of a PET, a T2-HASTE, and a DWI with b = 800 s/mm^{2} was used as input for the algorithm. The model was trained to replicate the segmentations of the ground truth by using a 2D U-Net architecture.
Furthermore, the lymphoma dataset was divided in a 85/15 ratio for training and testing consisting of 53 and 11 PET/MRI examinations, respectively. Both a 4-fold and 13-fold cross-validation were performed for the training of the model. The validation resulted in average dice scores of 0.61 and 0.63 respectively for the 4-fold and 13-fold trained models. Several other metrics such as loss, accuracy, precision, recall, Negative Predictive Value (NPV), and specificity were included for the voxel level analysis. The scores were 0.011, 0.97, 0.83, 0.11, 0.97, 0.99, respectively for the 4-fold validation and 0.065, 0.97, 0.90, 0.10, 0.97, 0.99, respectively for the 13-fold validation. The average dice score of the testing patient were 0.29 and 0.32 respectively for the 4-fold and 13-fold cross-validation which suggested an inferior performance on unseen patients compared to the PET/MRI examinations used in the validation. Despite the overall high scores for the evaluation metrics, the voxel based analysis did not give a great indication of how well the model managed to segment cancer lesions due to the majority of the voxels in a patient being classified as true negative. Therefore, a lesion-based analysis were conducted and it revealed that the model often segmented fewer lesions than in the ground truth. This indicated that the model's main limitation was the number of false negative predicted lesions. As a consequence, the model performs better on the validation data than for the testing dataset which was excluded from the training.
In conclusion, the trained 2D U-Net model automatically segments malignant lymph node lesions in the 3-channel multi-modal images. However, future research should focus on improving the dice score, co-registration, decrease the number of undetected tumor lesions, and increase the dataset to ensure a larger variation in the cohort. This will benefit the training and yield better results. | |
