Interactive Digital Media - Second Screen

Abstract

Historiefortelling er et gammelt ritual som har utviklet seg sterkt gjennom århundrene. Fra malerier i huler til 3D-kino. Når ny teknologi dukker opp, tar det ikke lang tid før noen prøver å bruke den til underholdning eller fortellingsformål. Sekundær Skjerm-teknologi er en av de nye teknologiene som har oppstått de siste årene. Ideen om å ha ekstra innhold som vises på mobiler eller nettbrett, er ikke nytt, men det store gjennombruddet har ennå ikke skjedd. Grunner kan være en kombinasjon av en teknologi som ikke er moden nok og publikum ikke er klar til å omfavne den. Selv nylige endringene i bransjen begynner å antyde at noe er på gang.

Denne oppgaven prøver å undersøke forskjellige metoder for implementering av Sekundær Skjerm teknologi for mobile enheter. Implementeringene er basert på prinsippet om at bestemte rammer eller tidspunkt i en video vil utløse en synkronisert hendelse på den sekunndære skjermen. Disse hendelsene kan være alt fra små vibrasjoner til et fullt mobilspill som seerne må spille.

Tre løsninger for synkronisert Sekundær Skjerm foreslås i denne oppgaven. Hver av løsningene er utviklet gjennom bruker sentrerte designmetoder, og er derfor iterative forbedringer basert på tilbakemelding fra tidligere løsninger, men hvert trinn produserer også en komplett fungerende prototype.

Det viktigste tekniske resultatet er det foreslåtte triggerformatet. Vi har utviklet en veldefinert tekststruktur for å erklære hva, når og hvordan hendelser skal utløses på den andre skjermen. Det mest avanserte utløserformatet er å bruke inline-hendelser fra den mest populære internasjonale streamingstandarden, Dynamic Adaptive Streaming over HTTP (DASH), for å utløse hendelsene i web-spillere som støtter standarden. Konsepter fra videostreaming har også blitt brukt til å implementere muligheten for at brukerne kan endre løpet av historien mens de ser på.

Resultatet av de subjektive brukertester utført på den tredje prototypen, indikerer sterkt at kvaliteten på "Quality of Experience" øker ved å bruke taktile stimuli ved å hjelp av vibrasjon på den sekundære skjermen synkronisert med hovedinnholdet. Testmetoden i seg selv er et viktig bidrag til forskningsområde QoE vurdering for Sekundær Skjerm applikasjoner.

Resultatene kan brukes i den pågående utviklingen av DASH-standarden. Med få modifikasjoner til gjeldende standard kunne støtten for bruk av inline-hendelsen for utløsning av Sekundær Skjerm implementeres. Denne oppgaven er også et godt utgangspunkt for alle som ønsker å utvikle sin egen applikasjon med Sekundær Skjerm teknologi, da det ikke eksisterer et rammerverk for dette per dags dato.

Storytelling is an ancient ritual that has evolved greatly over the centuries. From paintings in caves to 3D cinema. When new technology appears, it does not take long before someone tries to use it for entertainment or storytelling purposes. Second screen technology is one of the new technologies that have surfaced during the last few years. The idea of having additional content appearing on mobiles or tablets is not new one, but the big breakthrough has not yet occurred. One of the reasons may be a combination of an immature technology and an audience not ready to embrace it. Although recent changes in the indutry indicates otherwise.

The main focus of this research investigate different methods to implement second screen applications for mobile devices, using existing international media standards. The implementations are based on the principle that certain frames or points in a video will trigger a synchronized event on the second screen. This event can be everything from small vibrations to a full mobile game that the viewers have to play.

Three solutions for synchronized second screen content are proposed in this thesis. These solutions are developed through an iterative development process, using user centered design methodologies. They are therefore iterative improvement based on the feedback from previous solutions, however, each stage also produces a complete working prototype.

The main technical result is the suggested trigger format. We have developed a well-defined text structure for declaring what, when and how events should be triggered on the second screen. The most advanced trigger format is to use inline events from the most popular international streaming standard, Dynamic Adaptive Streaming over HTTP (DASH), to trigger the events within web players supporting the standard. Exisiting concept from video streaming has also successfully been used to implement the possibility for users to change course of the story while they are watching.

The main user results from subjective user tests performed on the third prototype, which strongly indicates that Quality of Experience (QoE) increases by using tactile stimuli, by using vibration on the second screen device synchronized to the main content. The test methodology itself is an important addition to the field of QoE assessment for second screen applications.

The results can be used in the ongoing development of the DASH standard. With few modifications to the current standard the support for using inline event for second screen triggering could be implemented. This thesis is also a good starting point for anyone that would want to develop their own second screen application, with the current lack of existing framework.