Three-dimensional Geometric Models from Pictures

Abstract

Denne masteroppgaven implementerer form deteksjon på bilder ved hjelp av programmet OpenCV og programmeringsspråket Python. OpenCV programmet har en god del hjelpefunksjoner, som gjør det enkelt gjenkjenne former på et bilde. Flere filter hjelper til med å separere former fra sin bakgrunn. I starten var det kun mulig å gjenkjenne veldig enkle omriss av former, som firkanter og femkanter. Per dags dato, ved hjelp av justering av de implementerte filtrene, er det mulig å gjenkjenne relativ komplekse former. Nivå av detalj kan selv velges av brukeren.

Dersom en form har blitt gjenkjent, kan den bli portet over til programmet GeoMod som lever i et C++-miljø. Programmet GeoMod er et program laget av Profesor Sven Fjeldaas. Dette programmet har eksistert i mange år, og mange masterstudenter har jobbet med det tidligere. Programmet støtter tegning av figurer i en kameravisning. Former som ble gjenkjent i Python-miljøet blir lest inn i GeoMod programmet ved hjelp av tekst-filer. Når formen er lest fra fil, kan den modifiseres. En sentral del av masteroppgaven var å implementere en støtte for å gjenkjenne kuber i bilder og å gjøre disse kubene tre-dimensjonale i GeoMod kameravisningen. Dette ble gjort ved at ulike beregninger ble utført på nodene som ble funnet av Python programmet. En relativt nøyaktig modell av en kube kunne nå bli tegnet opp i tre dimensjoner og bli påvirket i kameravisningen. To metoder for å finne denne tredimensjonale modellen ble implementert. Ved siden av en generell metode, ble det implementert en metode som ble kalt for "Four-points" metode. Denne metoden tar kun utgangspunkt i fire noder som brukes til å beregne seg fram til en full kube. Fordelen med denne metoden var å minske sannsynligheten for feil med kanter, men en ulempe var at avstanden mellom enkelte noder kunne være litt lengre eller kortere enn på det originale bilde. En metode for å gi generelle former en dybde ble også implementert. Normalvektoren mellom tre punkter beregner retningen til dybden og gjør formen tredimensjonal.

The aim of this master thesis was to create a form detection in images. Several different filters were used to help identify and mark these forms against their background, based on colour and intensity. The filters enabled the program to identify more complex shapes with an increasing amount of points along their contour. The shape detection was implemented in a Python environment using the program OpenCV. The program OpenCV provides a lot of useful functions for detecting shapes, creating a hierarchy and drawing a shapes outline. In order to calculate a better approximation of a shape, a method that eliminates points that are in near proximity was implemented. This method would improve the result for further modification and preserve precious memory. Once a shape was detected, it was ported over to a program called GeoMod. The program GeoMod is developed by Professor Sven Fjeldaas at NTNU and has been the basis for several master theses. The program allows shapes to be linked in dynamically. A method to port shapes detected by the python part into the GeoMod program was implemented in the form of a simple read-write functionality.

Once a shape was read into the GeoMod program, it could be modified. The goal was to make the shapes have depth in the z-direction. Here, creating three-dimensional models of cubes were the main focus. General shapes such as rectangles and hexagons acquired their depth by using normal-vectors. This method could give even complex shapes a general, calculated depth and make them appear three-dimensional in the GeoMod View environment. Two methods were implemented to create a relatively accurate three-dimensional model of a cube, based on a two-dimensional image of a set view of a cube. One of the methods was dubbed “four-points” method, requiring only four points to create such a three-dimensional model. This method was less error-prone than the other standard method, but it could lead to inaccuracies for length between nodes in the model. The results of the other, standard method were more accurate, but edges between nodes could be drawn incorrectly for some models due to an error in the relation between nodes.

This thesis produces a way to identify shapes in a two-dimensional image, calculate a good approximation of its contour and port it to the GeoMod program. A three-dimensional model of that contour can then be calculated and shown in the camera-view of the GeoMod program.