Deep Learning For Automatic Segmentation Of Rectal Cancer On Magnetic Resonance Images From Two Independent Cohorts

Abstract

Heniskt: Inntegning av kreftsvulstvolumet er en viktig del av både kvantitativ bildeanalyse og strålebehandling. Dette er en tidkrevende oppgave som er forbundet med usikkerhet grunnet interobservatørvariabilitet. Det ville derfor vært fordelaktig å utvikle en metode som segmenterer kreftsvulsten automatisk. En slik metode kan potensielt spare tid for radiologene/onkologene, og bidra til en mer konsekvent inntegning.

Hensikten med denne masteroppgaven var derfor å undersøke om dyp læring (DL) med konvolusjonelle nevrale nettverk kan benyttes for automatisk segmentering av kreftsvulster, basert på Magnetisk Resonans (MR) bilder fra to forskjellige pasientkohorter med endetarmskreft.

Materialer og Metoder: To datasett med Magnetresonanstomografi (MRI) av endetarmskreft ble benyttet for trening og testing av ulike DL-modeller. Det første datasettet bestod av 89 pasienter fra Locally Advanced Rectal Cancer - Radiation Response Prediction (LARC-RRP)-studien. Det andre datasettet bestod av 110 pasienter fra Hypoxia-mediated Rectal Cancer Aggressiveness (OxyTarget)-studien. Inntegningen av kreftsvulstene på bildene ble utført av erfarne radiologer, og ble benyttet som fasit for modellene.

Flere ulike DL-modeller med U-Net arkitektur ble utviklet. Modellene ble kombinert med forskjellige bildetyper, tapsfunksjoner, læringsrater, standardiseringsmetoder og dataøkningsmetoder. LARC-RRP-datasettet, OxyTarget-datasettet, og en kombinasjon av de to datasettene, ble brukt som data for modellene. Hvert datasett ble splittet opp i et treningssett, valideringssett og testsett. Modellene ble evaluert basert på gjennomsnittlig Dice likhetskoeffisient per pasient (DSCP) på valideringssettet. Den beste DL-modellen for hvert datasett ble deretter sammenlignet med resultatene fra en maskinlæringsmodell hvor klassifiseringen ble gjennomført basert på voxelintensitetene. Til slutt ble de beste DL-modellene testet på usett data ved å benytte testsettene.

Resultater: Den beste modellen benyttet T2-vektede bilder som inneholdt kreftsvulst fra OxyTarget-datasettet. I tillegg anvendte modellen en læringsrate på 1e-04, dataøkning, en kombinasjon av z-verdi normalisering og tilpasning av piksel histogram som standardiseringsmetode, og den Modifiserte Dice tapet som tapsfunksjonen. Modellen oppnådde en DSCP lik 0.691 på testsettet, og utkonkurrerte dermed maskinlæringsmetoden. Ved sammenlikning av inntegningen av kreftsvulster fra to ulike radiologer, som segmenterte 76 av pasientene i OxyTarget-datasettet, ble DSCP beregnet til å være lik 0.805. Dermed hadde den beste DL-modellen en lavere prestasjon sammenlignet med variasjonen mellom de to manuelle inntegningene.

Konklusjon: Denne masteroppgaven har utforsket om DL med en U-Net arkitektur kan benyttes for automatisk segmentering av endetarmskreft, basert på MR-bilder fra to forskjellige pasientkohorter. Den endelige modellen hadde en lavere DSCP sammenlignet med variasjonen mellom to radiologer (DSCP). Dette indikerer at modellen må forbedres før den kan anvendes klinisk på egenhånd. Man kan allikevel benytte modellen på hvert enkelt bildesnitt, kombinert med en egnet grenseverdi som avgjør om den automatiske segmenteringen burde godkjennes eller ikke. En slik implementering av modellen kan fremdeles spare tid og øke effektiviteten i inntegningsprosessen. Videre utvikling av modellen bør utforske effekten av ulike MR-sekvenser. I tillegg bør bruken av ulike dataøkningsmetoder, standardiseringsmetoder og muligheten for overføring av kunnskap mellom kohorter utforskes videre.

Purpose: Manual tumor delineation is required for several purposes, such as calculation of quantitative image biomarkers and target delineation in radiotherapy. However, the delineation process is a time-consuming task that is subject to intra- and interobserver variations. It would therefore be beneficial to develop a method that automatically segments the tumor and reduces intra- and interobserver variations. In addition, the automatic segmentation would save time for the radiologists and oncologists.

The aim of this thesis was to explore a Deep Learning (DL) approach with Convolutional Neural Networks (CNNs) for automatic segmentation of rectal cancer, based on Magnetic Resonance (MR) images from two independent patient cohorts.

Materials and Methods: Two datasets with MR images of rectal cancer were used for training and testing of the DL models. The first dataset consisted of 89 patients from the Locally Advanced Rectal Cancer - Radiation Response Prediction (LARC-RRP) study, and the second dataset of 110 patients from the Functional MRI of Hypoxia-mediated Rectal Cancer Aggressiveness (OxyTarget) study. Manual delineations of the tumor volumes were made by experienced radiologists and used as ground truth.

Several DL models with a U-Net architecture were developed and varied in terms of image input, standardization method, loss function, learning rate, and data augmentation. The LARC-RRP dataset, the OxyTarget dataset, and a combination of both datasets were used as input for the models. Each dataset was split into a training set, validation set and test set. The model performances were evaluated based on the Dice Similarity Coefficient per patient (DSCP) of the validation set. The best DL model for each dataset were then compared to the results from a Shallow Machine Learning (SML) approach where classification was carried out based on voxel intensities. Finally, the best DL models were tested on new unseen data by using the hold-out test sets as input.

Results: The best model performance was achieved with the OxyTarget dataset when solely using T2 Weighted (T2w) MR images which contained tumor as input. The model used a learning rate of 1e-04, data augmentation, the z-score normalization combined with the matching of histograms (MH + Z-Score) as standardization method, and the Modified Dice as loss function. The model achieved a DSCP of 0.691 on the test set and outperformed the SML approach. The DSCP between two radiologists, which delineated 76 of the patients in the OxyTarget dataset, was equal to 0.805. Thus, the model performed inferior to the interobserver variation.

Conclusion: The thesis explored whether DL models with a U-Net architecture can be used to automatically segment rectal cancer based on MR images from two independent patient cohorts. The final model had a DSCP below the interobserver DSCP. Thus, the results indicate that the DL model needs further improvement before it can be fully implemented in a clinical setting. However, the model could be carefully implemented with a satisfying threshold value on a per image slice basis. This would still increase the efficiency in the tumor delineation process. To improve the model performance the effect of including multiple MR sequences, as well as the use of transfer learning between different cohorts, various standardization methods, data augmentation methods and model architectures should be further investigated.