Estimating the Height of Facades with Street-level Imagery using Facade Parsing, Floor Segmentation, and Urban Rules

Abstract

Fasadehøyde er en vesentlig faktor i studiet av bymiljøets karakter og omfang. Estimering av høyde krever nøyaktige romlige målinger og komplett bygningsdata, der begge avhenger av bruken av dyr og toppmoderne teknologi. Denne studien har som mål å senke terskelen for å gjennomføre storskala høydeestimering ved å benytte seg av lett tilgjengelig teknologi. Hovedsakelig ønsker vi å undersøke hvordan bilder tatt fra gatenivå kan benyttes for å estimere fasadehøyden i et større geografisk område. Dette gjennomføres ved å utnytte symmetri og repeterende mønstre basert på arkitektoniske prinsipper. Vi implementerer en metode som automatisk segmenterer fasadene i separate etasjer og bruker kunnskap om deres iboende egenskaper og attributter for å estimere fasadehøyden.

Et eksperimentell studie ble gjennomført i den hensikt for å teste metoden på bilder tatt fra gatenivå i Trondheim, Norge. Fasadeobjektene ble automatisk detektert for å videre segmentere etasjene med et regresjonsanalyseverktøy (RANSAC) og deretter ved å anvende våre definerte urbane regler for å ytterligere justere den resulterende høyden. Resultatene indikerte at segmentering av etasjer bidro til en nøyaktig estimering av fasadehøyden og at reglene supplerte med å styrke høydestimasjonen. Det ble videre gjort kjent at kvaliteten på bildene fra gatenivå i stor grad påvirket resultatene. Evaluering av metoden resulterte i en korrekthet på 92% for eteasjesegmentering på et utvalg bilder med god kvailtet. Videre ble det oppnådd tilfredsstillende resultater for høydestimasjonen i hele studieområdet, med gradvis større feil etter hvert som byggehøyden økte.

Facade height is a key variable in studying the character and scale of urban environments. However, accurately estimating the height requires high spatial accuracy and complete building data, dependent on expensive and advanced state-of-the-art methods. This study aims to lower the threshold for large-scale height estimation by using more accessible technology. Specifically, we investigate how we can use street-level imagery to estimate the facade height in a wider geographical region by exploiting architectural principles, including symmetry and repetitive patterns. In addition, we implement a method that automatically segments the facades into separate floors and use extensive knowledge of their inherent features and attributes to estimate the facade height.

To test our pipeline, we conducted an experimental study on street view imagery in a contained geographical area of Trondheim, Norway. We automatically detected facade objects to segment the floors with a RANSAC regressor and then applied a set of defined urban rules to adjust the resulting height further. The results indicated that segmenting the floors contributed to an accurate estimation of the facade height and that the rules aided in adjusting the height estimation. We also discovered that the quality of street view imagery significantly influenced the results. Finally, to evaluate the method, we considered an optimal subset of imagery and found that the correctness of the floor segmentation was 92%. Furthermore, we achieved adequate results regarding the height estimation in the whole study area, with progressively larger errors as the building height increased.