Lungs and Lobes Semantic Segmentation in Mediastinal CT Scans Using 3D Convolutional Neural Networks

Abstract

Pulmonal CT-bildeanalyse er en viktig del av vurderingen og behandlingsplanleggingen av forskjellige lungesykdommer. Metoden krever ofte at lungene skilles fra de omkringliggende strukturene, en prosess kjent som lungesegmentering. Dype spalter (fissurer) deler lungene i mindre volumer kjent som lapper, med sine egne uavhengige åre- og luftveisystemer. Noen sykdommer utvikler seg bare i en av disse lappene, og noen behandlinger utføres på et slikt lappenivå. Det er derfor også nødvendig å segmentere lappene i mange tilfeller. Å gjøre segmentering av lunger og lapper for hånd er en langtekkelig og tidkrevende prosess, som krever eksperter innen feltet. Det er foreslått en rekke forskjellige metoder for å automatisere segmenteringsprosessen gjennom årene, men mange av dem sliter på lunger med store mengder abnormaliteter, noe som ofte er tilfelle for syke lunger.

Denne oppgaven tar sikte på å bidra ytterligere mot full automatisering av lunge- og lappesegmentering ved å undersøke to toppmoderne nevrale nettverksarkitekturer, og deres evne til å generere nøyaktige segmenteringsmodeller med kort trening- og inferenstid. De to nettverkene som skal undersøkes er 3D U-Net, og det relativt nye PLS-Net. Begge er 3D konvolusjonelle nettverk der U-Net er tradisjonelt med et høyt antall parametere mens PLS-Net er ekstremt lett til sammenligning. De to nettverkene ble testet for lungesegmenteringsoppgaven ved bruk av forskjellige kombinasjoner av rammeverk for dyp læring (f.eks. Tensorflow og PyTorch), treningspresisjon (16-bit vs. 32-bit), batchstørrelser og volumstørrelse. I tillegg ble PLS-Net trent og testet for lappesegmenteringsoppgaven, etterfulgt av et enkelt postprosseseringssteg.

Resultatene viste at bruk av mindre volum med batchstørrelse 2 ga høyere nøyaktighet enn å bruke større volum med batchstørrelse 1. PyTorch og TensorFlow ga like gode Dice-verdier på lungesegmenteringsoppgaven, og PyTorch ga bedre treningsytelse, men var tregere under inferens. Ved å bruke blandet presisjon over full presisjon, ble minneavtrykket redusert med 40%, uten å redusere nøyaktigheten. PLS-Net brukte 30% mindre minne enn U-Net for samme volum og batchstørrelse, med en reduksjon på 0,3% i Dice-verdi. For lappesegmenteringsoppgaven ga PLS-Net en Dice-verdi på 92,6% før postprossesering og 92,9% etter. Lappesegmenteringsmodellen presterte like bra for data fra et annet datasett som på dataene brukt til trening, men slet på lunger som inneholdt abnormaliteter.

Pulmonary CT image analysis is a vital part in the assessment and treatment planning of different lung diseases. The method often requires the lungs to be separated from the surrounding structures, a process known as lung segmentation. Fissures divide the lungs into smaller compartments known as lobes, with their own independent vessels and airways system. Some diseases develop only in one of these lobes, and some treatments are performed on a lobar level. It is thus necessary to also segment the lobes in many cases. Doing lungs and lobes segmentation by hand is a tedious and time-consuming process, requiring expert radiologists. A variety of different methods to automate the segmentation process have been proposed throughout the years, but many of them struggle on lungs with high amounts of abnormalities, which often is the case for diseased lungs.

This thesis aims at contributing further towards the full automation of lung and lobe segmentation by investigating two state-of-the-art neural network architectures, and their ability to generate accurate segmentation models with short training and inference time. The two studied approaches are the 3D U-Net, and the relatively new PLS-Net. Both are 3D fully convolutional networks whereby the U-Net is more traditional with a large number of parameters while the PLS-Net is extremely lightweight in comparison. The two networks were tested for the lung segmentation task, using different combinations of deep learning frameworks (e.g., Tensorflow and PyTorch), training precision, batch sizes and input resolutions. In addition, the PLS-Net was trained and tested for the lobe segmentation task, together with a simple post-processing step.

The results showed that using smaller input volumes with batch size 2 gave higher accuracy than using larger input volumes with batch size 1. PyTorch and TensorFlow gave equally good Dice scores on the lung segmentation task, and PyTorch gave better training performance, but was slower during inference. Using mixed precision over full precision reduced the memory footprint by 40%, without reducing the accuracy. The PLS-Net used 30% less memory than the U-Net for the same input data and batch size, with a reduction of 0.3% in Dice score. For the lobe segmentation task, the PLS-Net gave a Dice score of 92.6% before post-processing, and 92.9% after. The lobe segmentation model performed equally well on data from another data set and the data used for training, but struggled on samples containing abnormalities.