Optimization of Mask R-CNN algorithm for corrosion detection using Genetic Algorithm and sky segmentation

Abstract

Denne oppgaven tar sikte på å studere og vurdere strategier for å forbedre et nevralt nettverk for å oppdage og segmentere korrosjonsskader fra broinspeksjoner. For å evaluere effekten av bildene, ble datasettet innsnevret til kun å inkludere de med rød korrosjon. Deretter ble tre strategier brukt for å vurdere potensielle forbedringer i nøyaktighet: dataforstørrelse, hyperparameteroptimalisering ved bruk av den genetiske algoritmen, og et bakgrunnsfjerningsnettverk spesielt designet for å eliminere himmelregioner fra bildene. Disse strategiene ble implementert og testet på fem ryggradsmodeller ved bruk av Mask R-CNN.

Resultatene indikerer at hver metode har sine egne styrker og begrensninger for å oppdage ulike typer rød korrosjon, men ingen er i stand til å erstatte den mangelfulle kvaliteten på datasettet, da den eneste bemerkelsesverdige forbedringen kommer fra reduksjonen i datasettet. Mens både automatisk hyperparameterinnstilling og endring av ryggrad indikerer en viss forbedring, er det fortsatt utfordringer med å generalisere seg til et så bredt datasett. For å løse disse utfordringene bør datasettet utvides tre ganger for å forbedre nettverkets muligheter, eller begrense til en skade for skjerpe fokuset til nettverket. Den genetiske algoritmen har potensial for videreutvikling av nettverket, men lider av liten søkeplass og begrenset populasjonsstørrelse. Det bør forskes videre på bedre dataforstørrelse teknikker enn det som er presentert i denne oppgaven. Skyfjerningsnettverket gjorde ingen synlig forbedring av nøyaktigheten, noe som gjorde forbehandlingstrinnet overflødig. Andre ytterligere forbedringer som foreslås er å bruke RGB-D-bilder, syntetiske data eller å vurdere andre nettverk som har prestert bedre enn Mask R-CNN i andre eksperimenter.

This thesis aims to study and assess strategies of improving a an instance segmentation model for detecting and segmenting corrosion damages from bridge inspections. To evaluate the impact of the images, the dataset was narrowed down to include only images with red corrosion, i.e steel corrosion. Subsequently, three strategies were employed to assess the potential improvements in accuracy: data augmentation, hyperparameter optimization using the Genetic Algorithm, and a background removal network specifically designed to eliminate sky regions from the images. These strategies were implemented and tested on five backbone models using Mask R-CNN. The results indicate that each method has its own strengths and limitations for detecting different types of red corrosion, but none of them are able replace the deficient quality of the dataset, as the only remarkable improvement comes from the reduction in dataset. While both automatic hyperparameter tuning and change of backbone indicate some improvement, there are still challenges of generalizing such a broad dataset, that the images should either be expanded threefold to improve the network's capabilities, or sharpen its focus on one specific damage. The Genetic Algorithm does have potential for further development of the network, but suffers from a small search space and limited population size. The sky removal network did no visible improvement to the accuracy, making the pre-processing step redundant. Further research should be done on a better augmentation scheme than the one presented in this assignment. The sky removal network did no visible improvement to the accuracy, making the pre-processing step redundant. Other further improvements suggested are to use RGB-D images, synthetic data or to consider other networks than Mask R-CNN.