Content-based lecture video indexing

Abstract

NORSK: Teknologier innen e-læring er rettet mot å bedre studentenes læringsopplevelse. Dette kan for eksempel være ved hjelp av forelesningsvideoer som kan sees fra hvor som helst, og når som helst. Forelesningsvideor inneholder det meste av det faglige innholdet, men å benytte en forelesningsvideo til læring på best mulig måte er en utfordring. Dette kommer av at profesjonell redigering er ikke et valg for mange utdanningsinstitusjoner på grunn av kostbarheten, og derfor er veldig mange forelesningsvideor uredigerte. Det er vanskelig å beholde en students oppmerksomhet gjennom en uredigert video, og det er heller ikke enkelt å navigere seg igjennom. Derfor er det bruk for automatiske systemer for å indeksere forelesningsvideoer. I denne oppgaven foreslås det et automatisk system for innholdsbasert indeksering av tavle forelesningsvideoer. Først bruker vi enkel video prosesserings algoritme for å segmentere en scene til bevegelige objekter i forgrunnen og en langsomt endrende bakgrunn bestående av tavlen og teksten som er skrevet på den. Deretter definerer vi nøkkel rammer; som for eksempel når læreren skriver eller tar bort tekst. I tillegg, siden det er sannsynlig at noe av innholdet på tavlen til tider vil være skjult av feks læreren, vil rammer benyttes til å bygge opp en oppsummering av innholdet. Nøkkel rammer kan brukes til å effektivt navigere i en forelesningsvideo.

ENGELSK: E-learning technologies are aimed at augmenting the students’ learning experiences - for in-stance by producing lecture videos that can be viewed anywhere, at any time. Lecture videos contain most of the instructional content, but their effective use remains challenging. One reason is that professional editing is not an option for most educational institutions due to costs. Therefore, most lecture videos are unedited. Unedited videos are rarely captivating enough to keep the students’ attention for long. Neither does it facilitate easy navigation. Hence, there is a need for automatic systems for lecture video indexing and summarization. In this thesis we propose an automatic system for content-based indexing of blackboard lecture videos. We first use low-level video processing algorithms to segment a scene into foreground moving objects and a slowly changing background consisting of the blackboard and the text written on it. Next, the blackboard contents are enhanced and extracted. The extracted contents are analysed in order to define key frames; such as when the teacher writes some text or erases it. Additionally, since it is likely that some of the blackboard content may be hidden at any point in time due to occlusion by the instructor, images to summarize the board contents are created. Extracted key frames and images may be used to efficiently navigate through lecture videos.