Importance of region-of-interest on image difference metrics

Abstract

NORSK: Mange bildeforskjellsmetrikker har sett dagens lys de siste tiår. Alle disse metrikkene har som mål å prediktere oppfattet bildeforskjell, men ingen har vært suksessfulle. Når mennesker klassiferer bildeforskjeller ser vi på forskjellige områder, og vi gjør oss opp en mening av den oppfattede forskjellen basert på disse områdene. Informasjonen om hva som tiltrekker seg synet og hvordan man gransker bilder skaffer oss viktig informasjon om bildeforskjeller. Dette forskningsprosjektet undersøker viktigheten av interesseområder i bildeforskjellsmetrikker. Interesseområder er funnet ved hjelp av en eye tracker, men også ved at observatøren marker interesseområder manuelt. 3 forskjellige oppgaver ble gjennomført av observatørene samtidig som deres blikk posisjon ble registrert, i tillegg markerte de interesseområder manuelt sammen med ett spørreskjema. Informasjonen om hvordan vi oppfatter og gransker bilder har blitt påført forskjellige bildeforskjellsmetrikker, som [delta]*ab, S-CIELAB, iCAM, SSIM og en fargetone algoritme. Området som tar for seg hvordan observatører ser på bilder gitt forskjellige oppgaver blir også diskutert og analysert. Resultatene indikerer at interesseområder forbedrer bildeforskjellsmetrikker, spesielt de metrikker som prestrer dårlig fra før med tanke på lineær korrelasjon mellom oppfattet og prediktert forskjell. Det er ingen klare bevis for at en type av interesseområder er bedre enn andre. Forbedringen er derfor både scene og metrikk avhengig. Resultatene viser også at observatører har forskellige interesseområder for forskjellige oppgaver, som fri observasjon, vurdere bildeforskjell og markere viktige områder. Fellesnevneren i alle oppgaver er ansikter, og dette er en viktig faktor for observatørene. Innenfor hver oppgave så forandres interesseområde avhengig av om observatøren er ekspert eller novise.

ENGELSK: /nMany image difference metrics have been developed in the last 4 decades. All of these /nmetrics are constructed to predict perceived image difference, but none have been successful. /nWhen we rate image difference we look at different areas in the image, based on /nthe difference in these areas we make a decision of the perceived difference. Information /nabout what draws attention and how we examine images can be used to improve image /ndifference metrics. /nThis research project investigates the importance of region-of-interest on image difference /nmetrics. Region-of-interest has been extracted by using an eye tracker, but also /nby manual marking by the observers. 3 different tasks were performed by the observers /nwhile their gaze position was recorded. Further a manual marking of region-of-interest /ntogether with a questionnaire to map background knowledge was carried out. The information /nfound on how we perceive and examine images has been applied to different /nimage difference metrics, such as [delta]*ab, S-CIELAB, iCAM, SSIM and the hue angle algorithm. /nThe issues regarding how observers look at images given different tasks are also /ndiscussed and analyzed. /nThe results indicate that region-of-interest improves image difference metrics, especially /nwhen the metrics already have a low performance in term of linear correlation /nbetween perceived and calculated difference. There are no clear evident that one type of /nregion-of-interest outperform other types. The improvement in performance is therefore /nboth scene and metric dependent. /nResults also show that observers have different areas of attention according the task /ngiven to them, as freeview, rating image difference and marking important regions. The /ncommon denominator within every task is faces, and this is clearly important in all tasks /nfor the observers. Within areas of attention will change whether the observer is an expert /nor non-expert.