LOADING

Multimedia

Multimedia

Table of Contents

Multimedia er et begrep som alle har en formening om hva betyr, men som ingen har en formell definisjon av. Det er et mye brukt, for ikke å si misbrukt, begrep. En mulig definisjon av multimedia kan være : "Integrasjon av mange forskjellige datatyper i et og samme program". Hvis vi vil være litt mer formelle kan vi definere datamaskinen (eller et dataprogram) som et medium som blir brukt til å formidle informasjon gjennom flere kanaler (tekst, lyd, tale, animasjon, grafikk, video etc…) som vi så oppfatter gjennom våre sanser. Vi får da stimuli gjennom flere forskjellige kanaler som vi så må tolke og integrere til et forståelig hele der de forskjellige kanalene enten utfyller hverandre eller forsterker hverandre ved å sende den samme meldingen på forskjellige måter. Dette må da gjøres på en slik måte at det er mulig for brukeren å forstå sammenhengene slik at det blir mulig å integrere den nye informasjonen inn i den kunnskapen man allerede besitter.

De interessante spørsmålene blir da hvordan vi kan integrere de forskjellige mediene/datatypene? Hvordan kan vi utnytte dette i forskjellige situasjoner? Hvordan skal et “medierikt” dokument se ut?

Det finnes mange eksempler på multimediaprogram. Noen av de første som kom der denne teknologien ble utnyttet var leksikon. De fleste for inder kanskje multimedialeksikon med Microsofts Encarta, men de to første som kom på markedet var “Compton Multimedia Encyclopedia” og “Grolier Encyclopedia”. Disse inneholdt for sin tid store datamengder. Compton inneholdt f.eks. 26000 stikkordartikler,5000 lengre tema-artikler,15000 bilder og diagrammer, 45 animasjonssekvenser og 1 time lyd (ca 33% var uttale av forskjellige ord). Andre typer multimediaprogram man finner mange av er f.eks. pekebøker for barn. Eksempelet over er et skjermbilde fra programmet “The tortoise and the hare” der teksten over bildet blir lest opp samtidig med at den leste teksten utheves. Barnet kan så klikke på et ord og få det lest opp, eller hvis hun klikker på objekter i bildet vil mange forskjellige ting kunne skje. Dette er dermed et eksempel på et repeterende øvingsprogram der multimedia utnyttes for å motivere barnet til å få gjentatt en tekst flere ganger slik at barnet kan lære ordbildene i teksten.

Andre eksempler på multimedia i en pedagogisk sammenheng er f.eks. presentasjon av musikkverk på en interaktiv måte. Det ble rundt1990 utviklet flere interaktive presentasjoner av klassisk musikk. Disse ble utgitt av firmaet Voyager og utviklet i HyperCard. Eksempler på verk som ble presentert var Beethovens niende symfoni, Mozarts dissonanskvartett og tonedikt av Richard Strauss. Det er også lagd presentasjoner av mange museer som Munchmuseet, Kontikimuseet og ikke minst Louvre. Flere av verdens store museer er n å presentert på internett. Der finner man både Hermitagen i St. Petersburg, Louvre i Paris og Uffici i Firenze. Eksemplet her viser Encyclopedia Britannicas oppslag om Edvard Grieg. Legg merke til at man fra Britannica også kan søke på nettet for å finne relevante ressurser om Grieg.

Grafikk

Den enkleste datatypen å presentere er på mange måter grafikk. Grafikk kan være komplekst nok, men den er i hvert fall statisk slik at man ikke må ta hensyn til at bildet endrer seg etter hvert som tiden går. Mens øyet er analogt (dvs. oppfatter former og farger i et kontinuerlig spektrum) er dataskjermen digital. Dvs. at den er delt opp i punkter, såkalte pixler (picture elements), der hvert punkt har en diskret fargeverdi. Dette betyr at bilder aldri kan bli 100% korrekt gjengitt på en dataskjerm.

Hva kreves så for å gjengi digitale bilder på en datamaskin? Et bilde på 1024 768 pixler (dette er en relativt vanlig oppløsning på en 17” dataskjerm) inneholder 786 432 diskrete punkter. Hvor mye data dette blir er avhengig av hvor mange farger man skal ha. Man snakker vanligvis om 1, 2, 4, 8, 16, 24 eller 32 bits farger. Man kan da vise 2n farger på skjermen samtidig. I dag er det vanlig med 32 bits farger. Det betyr at man bruker 4 bytes (48 = 32) for å representere hver pixel. 1 bits oppløsning gir 2 farger (svart og hvitt), mens man med 24 bits farger kan spesifisere 16 millioner farger. Da har man nok farger til å kunne spesifisere alle fargenyanser menneskets øye kan skille. Derfor kaller man gjerne dette “fotorealistiske farger”. Vanligvis bruker man likevel 32 biter for å representere 16 mill farger fordi man da har 8 biter til overs for å spesifisere tilleggsinformasjon for hver pixel. Et skjermbilde vil dermed kreve 786432*4 = 3 145 728 byte, eller 3 MB. For å redusere dette kan man så komprimere bildene. Det finnes mange komprimeringsalgoritmer, men den vanligste standarden er i dag JPEG (Joint Photography Expert Group).

Grafikk kan enten beskrives som såkalte pixelmaps (bitmaps hvis man bare bruker svart og hvitt) eller som vektorgrafikk. I et pixelmap spesifiseres hver pixel hver for seg mens i et vektorbilde tegnes bildet som et sett med linjestykker/kurver som forbinder endepunkter.

Hvis man arbeider med pixelmaps har man full kontroll med hver eneste pixel. Pixelmaps tar imidlertid stor plass og hvis man skalerer dem blir de forvrengt. Vektorgrafikk tar mindre plass og skalerer pent. Ressursberegningene som er vist over gjelder for pixelmaps. Grafikk kan lagres i mange forskjellige formater. Det finnes vel knapt noen datatype som kan lagres i så mange forskjellige formater. Hvilket format som passer er helt avhengig av hva bildet skal brukes til. Hvis man tar en skjermdump på en PC vil man få en grafikkfil av type BMP (bitmap). Dette er et lite brukbart format - det er en ren pixelmap som bl.a. skalerer svært dårlig. Man bør endre dataformatet til et mer hensiktsmessig format før man bruker det videre. Hvis man tar en skjermdump på en Macintosh vil bilde bli av typen PICT. Dette er et “blandingsformat” som inneholder både pixelmap og vektorinformasjon. Dette er et greit grafikkformat så lenge man bare skal bruke det i dokumenter på en Mac. Det skalerer bra, det støttes av alle applikasjoner og det blir svært bra ved utskrift.. Hvis man imidlertid skal bruke bildet på andre maskiner må det konverteres til et annet format for å kunne brukes. Hvis bildet skal legges ut på en web-side må det være i enten GIF, JPEG eller PNG format.

Når man skal få bilder inn i datamaskinen kan man enten tegne dem selv eller “scanne” dem inn med en scanner. Hvis man scanner inn et bilde blir det automatisk et pixelmap. Hvis man tegner selv kan man velge om man vil tegne som pixelmap eller vektorgrafikk - man må bare velge rett verktøy. De vanligste og mest kjente verktøyene for disse to måtene å beskrive grafikk på kommer begge fra firmaet Adobe. Photoshop brukes for å jobbe med pixelmaps, mens Illustrator brukes mye til vektorgrafikk.

For enkel grafikk kan man imidlertid bruke enklere og billigere verktøy. Det finnes mye shareware for grafikkhåndtering, både for Macintosh og for Windows. AppleWorks er et greit program å bruke for enkle tegninger. Det har både et pixelmap og et vektorlag, og tegningene kan lett ingreres i tekster som skrives med tekstbehandleren. Programmet finnes både for Macintosh og Windows og bruker identisk filformat slik at man uten videre kan flytte dokumenter mellom plattformene. Hvis man vil gjøre litt mer avansert bildebehandling kan man bruke sharewareprogrammet Graphic Converter fra LemkeSoft. Dette programmet kan også brukes for å konvertere mellom de fleste grafikkformater.

Lyd

Akkurat som bilder er lyd analog av natur. Lyd skapes ved at vi har raske endringer i lufttrykket som når trommehinnene. Disse endringene kan beskrives som en kontinuerlig “kurve” der lydens frekvens vises gjennom svingningenes tetthet. Styrken angis av amplituden. Ved analog avspilling (platespiller) presses en mekanisk kopi av kurven ned i platesporet og leses av pick-up. Det gjøres en del korrigeringer. Fordi bass inneholder mer energi enn diskant vil bassinformasjonen i lyden lage så store svingninger på platens overflate at en vanlig pick-up vil ha problemer med å spille det av. Organisasjonen RIAA (Radio Industry Association of America) har satt opp en standard for hvordan man skal håndtere disse påroblemene. Man reduserer bassen og øker diskanten slik at forskjellen blir mindre. Når platen spilles av må man så øke volumet i bassen og redusere diskanten.. Ludkurven er kontinuerlig og har dermed ∞ oppløsning. Hvor høye frekvenser som kan gjengis avhenger av avspillingsutstyrets kvalitet.

For å bruke lyd i datamaskiner må den imidlertid være digital. Da må kurven angis med tall. Man tar en prøve av kurven (sampler) med gitte mellomrom. Hver “prøve” angis med et tall. Antall prøver angir hvor høy frekvens som kan gjengis. Hvor stort tall hver “prøve” angis med bestemmer lydens “oppløsning”. Når man tar prøver av lyden på denne måten benytter man noe som kalles PCM (Pulse Code Modulation). Med denne metoden kodes hver sample fullt ut, uten komprimering. Dette benyttes i CD (Compact Disk) og DAT (Digital Audio Tape). Det finnes flere begrensninger forbundet med digital lyd, først og fremst på grunn av de svært store datamengdene. En av årsakene til dette er at man må ta dobbelt så mange prøver som den høyeste frekvensen man ønsker å gjengi. Det betyr at for å kunne gjengi en frekvens på 20 kHz, må man ta minst 40 000 prøver hvert sekund. I tillegg kan man få en del problemer idet de digitale dataene skal konverteres over til analog lyd (for at vi skal kunne oppfatte lyden må den gjøres analog og spilles av gjennom en høyttaler).

Vi kan ta som eksempel lydkvaliteten ved CD-lyd. Her benytter man en “Sampling hastighet" på 44.1 kHz (det tas 44 100 prøver hvert sekund). Oppløsningen er 16 bits (hver prøve består av 2 byte), og lyden er selvfølgelig i stereo. Dette betyr at lydkurven sjekkes 44 100 ganger pr. sekund (Maksimal gjengitt frekvens kan være 22050 Hz - jfr. Nyquists teorem). Hver gang lagres det 2 tall (et for hver kanal) mellom 32768 og 32767 (hver prøve kan innta en av 65535 (216-1) verdier). 1 sekund stereolyd krever da : 44 10022 bytes = 176 400 bytes (ca 172 kB). 1 time CD-lyd fyller da 172 kB * 3600 = ca. 634 MB.

For å redusere datamengdene, kan man komprimere lyden. Man bruker da matematiske algoritmer for å senke plassbehovet. Dette gjøres bl.a. i MiniDisk. Det finnes mange forskjellige komprimeringsteknikker. De fleste er såkalt “lossy” , dvs. at man taper kvalitet ved å benytte dem. Den vanligste er DPCM (Differential Puls Code Modulation). Da representerer man forskjellen mellom prøvene. Denne fungerer godt så lenge det ikke er store variasjoner i lyden ved høye frekvenser. En annen metode er ADPCM (Adaptive Differential Puls Code Modulation). Denne ligner veldig på DPCM, men med en justerbar skala.

I tillegg til dette kan man benytte delbåndskoding. Dette er en del av MPEG (Motion Picture Expert Group) standarden for lyd. Her benytter man effektene maskering og terskling fra psykoakustikken. Dette betyr at en sterk lyd vil maskere en svak lyd som spilles samtidig - den svake kan kastes. I tillegg vil en svak lyd som kommer like etter en sterk lyd vil ikke høres - den kan også kastes. MP3 og ATRAC (systemet som benyttes i MiniDisk) benytter seg av disse teknikkene.

Bruk av lyd på datamaskiner

Vi kan skille mellom lyd ut og lyd inn. Når vi skal ha lyd ut av en datamaskin kan det være snakk om syntetisert lyder/tale, digitalisert lyd/tale, styring av en CD-spiller og bruk av MIDI (Musical Instrument Digital Interface). Ved bruk av syntetisert lyd/tale brukes en synthesizer i maskinen for å generere lyder, f.eks. tale. Lyder ligger da lagret i synthesizeren (som lydkurver, akkurat som i et elektrisk piano). Teksten tolkes og oversettes til lydtegn. Lydtegnene avspilles gjennom synthesizeren. Dette kan man tenke seg brukt i oppringte banker der man kan få konto-opplysninger og f.eks. i korrekturlesing. Syntetisert tale har både fordeler og ulemper. Det krever liten lagringsplass og gir stor fleksibilitet. Imidlertid vil det være språkavhengig fordi lyder uttales forskjellig på forskjellige språk og det er vanskelig å lage synthesizer-kurver som gjengir lydene korrekt. MacOS har denne funksjonaliteten innebygd gjennom sitt TextToSpeech system. Selv den enkle teksteditoren TextEdit som følger med systemet kan lese opp en tekst for deg. Mange shareware teksteditorer har denne funksjonaliteten innebygd. Utviklingsverktøy som SuperCard (nevnt tidligere) benytter dette systemet. Ved å gi kommandoen speak og en tekst, vil SuperCard lese opp denne teksten.

Digitalisert lyd benytter man når lyder blir digitalisert til harddisk slik at de senere kan spilles av. Det er enkelt å benytte, men det er ressurskrevende. I tillegg blir man bundet til ferdig innspilte lyder. Ressursbehovet er avhengig av hvilken kvalitet man ønsker. Vi kan velge om vi vil bruke stereo eller mono, hvilken samplingfrekvens man vil bruke, samt hvilken oppløsning man vil benytte. Tale gjengis bra i mono med 11 kHz sampling og 8 bit oppløsning. Hvis vi beregner ressursbehovet ut fra denne forutsetningen får vi at 1 sek. digitalisert tale krever 11000(Hz) 1(Mono) 1(sek) 1(byte) = 11000 Bytes ≈ 10,7 kB. 1 min tale krever altså (min.) 604,9 kB = 294 kB. Hvis vi derimot ønsker stereo lyd samplet på 22 kHz med 16 bits oppløsning får vi 22000(Hz) 2 (stereo) 60 (sek) * 2 (byte) = 5 280 000 byte ≈ 5 MB. Imidlertid har det skjedd mye med komprimering i det siste, slik at lydfiler kan reduseres med 80-90% uten å miste hørbar kvalitet (med mindre man spiller dem på høykvalitets stereoanlegg). Det finnes svært mye programvare for å arbeide med lyd. Det finnes også svært mange forskjellige lydformater. For øyeblikket er det mest omtalte formatet MP3. Hvis man bare skal spille av slike lydfiler må man finne en avspiller som håndterer det formatet man vil høre.

Hvis man også vil kunne bearbeide lyden, som f.eks. legge på ekko eller kjøre et spor baklengs eller lignende, må man ha et lydredigeringsprogram. Det finnes mange slike, både shareware og kommersielle. Eksempelet viser sharewareprogrammet Felt Tip Sound Studio. Dette programmet er ikke kraftig nok for profesjonell bruk, men for de fleste formål vil nok et program som dette være godt nok i skolesammenheng.

Man kan også la et dataprogram styre en vanlig lyd CD-spiller fra et program. Dette kan være svært interessant i musikk- og i språkundervisningen. SuperCard og HyperStudio støtter dette slik at det er forholdsvis enkelt å ta en CD rett fra hylla og bruke den i et skreddersydd program.

MIDI står for Musical Instrument Digital Interface. Med dette kan man ta opp lyd fra et keyboard eller bruke det til å spille av lyder. Dette er svært nyttig ved skriving av noter, komposisjon o.l… Det er innlysende at dette kan benyttes i musikkundervisningen. Eksempelet viser freewareversjonen av programmet ProTools fra DigiDesign. Et annet mye brukt program er Cubase.

Det finnes også mange verktøy for å jobbe med noter. Moderne komponister bruker ofte noteskriveprogram når de komponerer, så hvorfor skal ikke elevene kunne få “leke” seg med slike program. Disse programmene har ofte MIDI ut slik at man kan høre de komposisjonene man lager. De vanligste programmene for denne typen arbeid er Finale og Sibelius. Det foreligger en gratisversjon av Finale som kalles Finale NotePad. Et annet gratisprogram er Igor Engraver (fra Noteheads Musical Expert Systems). Eksempelet over viser sharewareprogrammet Harmony Assistant (fra Myriad).

En annen type program som er blitt populært i det siste (2004) er program for å lage egen musikk av såkalte “loops”, samt å kunne legge sine egne instrumenter oppå slike loops. To program for dette er Soundtrack (loops) og GarageBand (kombinasjon). GarageBand er en del av Apples iLife-pakke og følger gratis med maskinen når man kjøper den.

Video

Som for lyd kan man også ha både analog og digital video. Det finnes flere standarder for analog video. I Europa benyttes stort sett PAL. I det gamle Øst-Europa og Frankrike benyttes SECAM, mens man i USA bruker systemet NTSC. Man har to medier for avspilling av analog video, videobånd (som er et sekvensielt og langsomt medium) og videoplater (der man har direkte aksess til enkeltbilder/ videosekvenser). Videoplater har aldri vært mye brukt i Norge, og med framveksten av DVD (Digital Versatile Disc) er i praksis dette mediet dødt. Etter at Apple Computer introduserte QuickTime i 1992 og etter hvert som regnekraften til de personlige datamaskinene er økt, er analog video stort sett forsvunnet. Så godt som all multimediaprogramvare bruker i dag digital video. Fordelen med dette er at man ikke trenger spesielt utstyr (videoplatespillere), samt at det er enklere å manipulere videodataene.

Digital video

Digital video gjør det mye enklere å integrere video i vanlig programvare. En annen fordel med digital video er at det ikke krever dyrt, komplisert ekstrautstyr. Videoen digitaliseres før den legges ut på skjermen. Man kan da enkelt vise video i et vindu på skjermen, noe som gir full integrasjon mellom video og datamaskin. Det er mye programvare som i dag gir støtte for digital video. Man kan f.eks. i dag inkludere video i mange tekstbehandlere.

Digital video består i utgangspunktet av en serie av digitale stillbilder. Hvis man skulle vise en video som en serie fullt digitaliserte stillbilder ville man imidlertid fort støte på et problem. Hvis vi regner på hvilke datamengder det er snakk om får vi: 640 480 pixler , 24 bits farger i 1 minutt = 640 480 (pixler) 3 (byte) 60 (sekunder) *25 (bilder pr. sek.) = 1382400000 B = 1350 000 kB = 1318 MB = 1,3 GB. Da har vi ikke regnet med lyden! Som vi skjønner krever digital video komprimering. Det finnes mange komprimeringsteknikker. For video er de imidlertid alltid "lossy" - dvs. at ved å bruke dem mister vi informasjon. I utgangspunktet baserer de seg alle på at man tar referansebilder med faste mellomrom, og prøver å forutsi hvordan bildene vil endre seg mellom referansebildene, metodene er altså prediktive. Det finnes mange codec'er (codec - coder/decoder), men man har også her prøvd å komme fram til en felles standard. Den man har kommet fram til kalles MPEG (som står for Motion Picture Expert Group).

Problemet med digital video har vært at man ikke har hatt digitale videokamera, og utstyr for å konvertere fra analog til digital video har vært svært dyrt. Med introduksjonen av digital video (DV) formatet er denne begrensningen forsvunnet. Et DV kamera lagrer videoen digitalt på videokassetten. Dermed kan man bare kopiere videoen direkte til harddisken på maskinen. Til dette trenger man en høyhastighetslinje siden det er store datamengder som skal flyttes. Det som har pekt seg ut som standarden for dette er IEEE 1394 (populært kalt FireWire eller iLink). Hvis man har en FireWire port på datamaskinen sin (noe som er standard på alle Macintosh-maskiner og som kan kjøpes som tilleggsutstyr til alle Windows-maskiner) kan man uten problemer overføre sine videoer til datamaskinen for redigering der.

Det kraftigste programmet til digital videoredigering som er priset slik at en skole kan anskaffe det er Apples Final Cut Pro. Bruk av dette til enkel redigering vil imidlertid være å skyte spurv med kanon. Enkel redigering kan man f.eks. gjøre i iMovie (se tidligere i heftet) eller noe tilsvarende. En del redigering kan man også gjøre i QuickTime Player hvis man har betalt for pro-utgaven av QuickTime.

Med denne teknologien kan elevene dokumentere sitt arbeid på en helt annen måte enn tidligere. Man kan gjennomføre intervjuer og inkludere videointervjuet i sin presentasjon. Man kan lage oppgaver for de andre elevene der videobiter blir en del av oppgavene. Man kan dokumentere nærmiljøet sitt på video som del av prosjektoppgaver eller man kan ta video av laboratorieforsøk for å dokumentere hva som skjedde i forsøket. Mulighetene er store og begrenses kun av ens fantasi.