Comparing objective and subjective measures of quality on a machine learning based foreground extractor

Abstract

Dei siste tiåra har tradisjonelle TV-sjåartal gått nedover. AdMiRe-prosjektet skal prøve å overvinne dette ved å gjere det enklare å lage meir engasjerande TV. Dette skal gjerast ved å forenkle nøkkel-teknologimodular, og gjere det lettare å innleme publikum frå heimane sine, inn i direkte TV-produksjon ved bruk av blanda røynd (mixed reality).

Ein av desse modulane, er ein maskinlæringsbasert forgrunn-ekstraherar (Machine Learning Based Foreground Extractor (MLBFE)), som ekstraherar silhuetten av personar ved å separere dei frå bakgrunnen. Gjennom denne avhandlinga, vil vi evaluere kvaliteten av ekstraheraren ved å nytte oss av nokre objektive og subjektive mål. Ved å kombinere dei objektive og subjektive måla, vil vi prøve å finne ut om det er ein korrelasjon mellom desse to måla.

For å teste dette, designa vi eit system der vi laga tolv videoar for MLBFE-en. Desse vart laga ved å kombinere greenscreen-forgrunnsvideoar og ulike bakgrunnsvideoar. Greenscreen-forgrunnen fungerte som sanninga for den semantiske segmenteringa. Videoane vart vurderte objektivt ved semantiske mål og subjektivt av ei gruppe deltakarar.

Resultata viser at det ikkje er noko korrelasjon mellom dei objektive og subjektive måla for MLBFE-en, sidan det ikkje var noko signifikant korrelasjon mellom dei.

For the last decades, traditional TV viewership has been declining. The AdMiRe project is set out to fight this by creating more engaging TV. This will be done by simplifying technology modules and enabling us to make it easier to incorporate audiences at home into live TV production using mixed reality technology.

One of these modules is a Machine Learning Based Foreground Extractor (MLBFE), which extracts the silhouettes of persons by separating them from the background. Through this thesis, we evaluated the quality of the extractor by utilising some objective and subjective measures. By comparing the objective and subjective measures, we tried to figure out if there was a correlation between these two measures.

To test this, we designed a system where we created twelve videos for the MLBFE. These were made of a combination of green screen foreground videos and different background videos. The green screen foreground worked as our ground truth for the semantic segmentation. The videos were rated objectively by semantic segmentation measures and rated subjectively by a group of participants.

The results show that there is no correlation between the objective and subjective measures for the MLBFE, as there was no significant correlation between them.