Image recognition applied to condition assessment of wastewater manholes

Abstract

Kummer er viktige komponenter i avløpssystemet. De gir tilgang til inspeksjon og vedlikehold av avløpsrør, imøtekommer alle geometriske endinger i systemet, og sørger for en praktisk utforming av ledningene. Sammenlignet med evalueringen av avløpsrør, får tilstandsvurderingen av kummer lite oppmerksomhet i Norge. Flere land har allerede utviklet retningslinjer som omhandler overvåkning av kumtilstanden for å sikre velfungerende kummer i deres systemer. Vann- og avløpsetater i USA og Danmark har publisert kumrapporter som beskriver gjennomføringen av inspeksjoner og tilstandsvurderinger av kummer. En lignende tilnærming til standardiseringen av disse prosedyrene er nødvendig i Norge. Kuminspeksjonene har ikke blitt prioritert de siste årene, og informasjonen om deres tilstand er ofte tilgjengelig i form av bilder. Ettersom inspeksjonen av kummer ofte blir utført visuelt fra bakken eller ved å gå ned i kummen, er gjennomføringen av denne prosedyren både tidskrevende og kostbar. En optimalisering er dermed nødvendig. Databasene med kumbildene representerer et godt grunnlag for implementering av bildegjenkjenningsprogramvarer. Disse bildene kan brukes til å trene slik programvare til å gjenkjenne forskjellige feil og deres alvorlighetsgrader. Utnyttelse av bildegjenkjenning for automatisk gjenkjenning av kumfeil kan være svært nyttig for norske vann- og avløpsetater.

Ett av målene for denne masteroppgaven var å utvikle et rammeverk for en Norsk tilstandsvurderingsrapport for kummer. Den foreslåtte rapporten vil bli strukturert på en måte som sikrer riktig innsamling og analyse av ønsket data om avløpskummer. DANVA kumrapport «Brøndmanualen – Inspektion og registrering af brønde», CARE-S rapport D3 «WP2 – Structural condition. Classification systems based on visual inspection” og Norsk Vann rapport 235:2018 «Dataflyt – Klassifisering av avløpsledninger» ble brukt som grunnlag for både inspeksjonsretningslinjer og klassifiseringen av kumtilstanden. Den presenterte prosedyren for tilstandsvurderingen av kummer ble basert på prinsippene for kapitalforvaltningen av infrastruktur (IAM – Infrastructure Asset Management), da den vil optimalisere prioriteringen av fremtidig arbeid med forbedring av nåværende kumtilstand. Utvikling av en slik rapport vil resultere i flere fordeler for norske kommuner. Noen av dem inkluderer en objektiv vurdering av kumtilstand, lik utførelse av inspeksjoner og en forbedret beslutningsprosess angående vedlikehold, rehabilitering og utskifting av kummer.

Det andre målet for masteroppgaven, var å trene Custom Vision-modellen med et sett av bilder som viser ulike typer av avsetning i avløpskummer. Målet med denne opplæringen var å erverve en modell som kan gjenkjenne ulike alvorlighetsgrader av avsetning i kummer. Custom Vision er en bildegjenkjenningsapplikasjon fra Microsoft. Den ble trent med et sett på 344 bilder og testet med 12 bilder. Klassifiseringen utført i denne masteroppgaven var en overvåket klassifisering, der områdene som viste avsetningen ble merket og tagget manuelt før treningen av modellen. Hvert område ble tagget i en av fire mulige kategorier som representerte alvorlighetsgradene. Modellen ble testet etter fullført trening med et bildesett som ikke var en del av bildesettet brukt for treningen av modellen. Disse bildene ble lastet opp til modellen for å få prediksjoner. Modellen var i stand til å forutsi riktig 38 av 39 områder med avsetning vist på bildene. Sikkerheten av disse prediksjonene var varierende. Dette resultatet kan forbedres med økt bildeopptelling, bildemanipulering, merking av ytterligere elementer som er tilstede i bildene eller forbedret merking av bilder brukt til treningen av modellen.

Manholes are important components of the sewer system. They provide access to the wastewater pipes for inspection and maintenance, accommodate all geometrical changes in the system and ensure convenient layout of the pipelines. However, compared to wastewater pipes, their assessment is receiving little attention in Norway. Several countries have already developed monitoring guidelines to ensure well-functioning manholes. Water agencies in USA and Denmark have developed manhole reports describing the execution of manhole inspection and condition assessment. Similar approach for standardization of manhole inspection and assessment is necessary in Norway. Inspection of manholes has not been prioritized and the information concerning the condition of manholes is often available in form of images. The inspection of manholes is often performed visually from the ground or by going inside the manhole. Therefore, it is time demanding and expensive. As a result, an optimization of this procedure is necessary. This could be achieved as the available databases of manhole images represent a good basis for the implementation of image recognition software. These images can be used to train the software to recognize different manhole defects and their severity. Utilization of image recognition software out in the field could be very helpful for the Norwegian water utilities.

One of the objectives of this master’s thesis was to develop a framework for the Norwegian manhole condition assessment report. The proposed content will be structured in a way that ensures proper collection and analysis of the desired data concerning wastewater manholes. DANVA manhole manual «Brøndmanualen – Inspektion og registrering af brønde», CARE-S report D3 «WP2 – Structural condition. Classification systems based on visual inspection” and Norsk Vann report 235:2018 «Dataflyt – Klassifisering av avløpsledninger» were used as the basis for both inspection guidelines and the classification of manhole condition. The presented manhole condition assessment report was based on the principles of Infrastructure Asset Management as it will optimize prioritization of future work regarding the improvement of current manhole condition. Development of a such report will provide Norwegian water utilities with several benefits. Some of them include objective assessment of manhole condition, equal execution of the inspection and improved decision-making regarding the maintenance, rehabilitation and replacement of manholes.

The second objective of the work presented in this thesis was to train Custom Vision model on a set of manhole images showing settled deposits. The goal of the training was to acquire a model that can recognize different defect grades of settled deposits. Custom Vision is an image recognition application provided by Microsoft. It was trained on a set of 344 images and tested with 12 images. The performed classification was a supervised classification, where the areas showing settled deposits were marked and tagged manually prior to the training of the model. The areas were tagged into one of four categories representing the defect grades. After completed training, the trained model was tested. Testing images were not a part of the training set and were uploaded to the model in order to get predictions. The model was able to predict correctly 38 of 39 settled deposits areas within the testing images with varying certainty. However, these results could be improved with increased image count during training, enhanced image manipulation, tagging of additional elements present in the images or labelling of all images.