Improving Colour Constancy in a Sensory Substitution System: Real time Camera Calibration and Automation of Testing Procedures in NI LabVIEW

Abstract

Denne rapporten beskriver utviklingen av et system for forbedring av fargekonstans i Colorophone. Colorophone er et sensorisk substitusjonssystem utviklet ved institutt for elektroniske systemer (IES) ved Norges teknisk-naturvitenskapelige universitet (NTNU). Colorophone er et sett med smarte briller som bruker et kamera til å hente informasjon om fargene i omgivelsene, og gjør dette om til et lydsignal. Formålet med systemet er å hjelpe blinde og svaksynte i hverdagslige oppgaver.

Et av problemområdene som ble indentifisert under utviklingen av Colorophone, var håndteringen av fargekonstans. Fargekonstans beskriver fenomenet hvor farger oppfattes som like uavhengig av ytre lysforhold. Menneskets oppfatning av farger forblir bemerkelsesverdig konstant uavhengig av ytre lysforhold, men en slik kompenseringsmekanisme er vanskelig å gjenskape i maskinsystemer.

Målet med dette prosjektet er å undersøke om en referanselapp kan forbedre håndteringen av fargekonstans i Colorophone. Dette har blitt undersøkt ved å montere en hvit lapp på det eksisterende kameraet på Colorophone, for så å korrigere bildene fra kameraet basert på verdiene på denne lappen. Prosjektet har blitt avgrenset til å undersøke dette i et lukket, kontrollert miljø og for et gitt antall ulike lysforhold.

Resultatene fra prosjektet viser at den nåværende kameramodulen på Colorophone vil ha nytte av en referanselapp. Mer arbeid gjenstår for å kunne si om dette vil forbedre brukervennligheten til systemet. I tillegg til dette, viser prosjektet hvordan ulike kameraer har ulike innebygde algoritmer og håndterer fargekonstans svært ulikt. Videre arbeid burde innebære både testing og evaluering av ulike kameraer, i tillegg til videre utvikling av løsningen med referanselappen.

This report describes the development of a system to improve colour constancy in the Colorophone system. The Colorophone is a sensory substitution device developed at Department of Electronic Systems (IES) at the Norwegian University of Science and Technology (NTNU). The Colorophone uses a camera to detect information about colours in the surroundings, which in turn is transformed to an auditory signal. The goal is to help the blind and vision impaired in their everyday tasks.

One of the problem areas that occurred during the development of the Colorophone was handling of colour constancy. Colour constancy describes the phenomenon where colours are perceived similarly independent of external lighting conditions. The human visual system handles colour constancy remarkably well, but this is hard to replicate in technological systems.

The aim of this project is to determine whether a white reference patch can be used to improve the colour constancy in the existing Colorophone system. This has been examined by implementing a white reference patch on the existing camera module of the Colorophone, correcting the image based on the values measured on this patch and comparing the values before and after correction. The project has been limited to testing the solution in a closed environment for a limited range of different lighting conditions.

The project findings are that the current camera module in the Colorophone system will benefit from a reference patch. More work remains to conclude whether this will improve the usability of the Colorophone. In addition, our project shows how the built-in algorithms in different cameras handle colour constancy differently. Further research should consist of both testing and considering different cameras, as well as further developing the solution with the reference patch.