Speech-entangled gesture as a linguistic phenomenon in its own right: towards a multimodal approach to language and evolution
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3111384Utgivelsesdato
2023Metadata
Vis full innførselSamlinger
Sammendrag
Denne masteroppgaven undersøker rollen til manuell(-visuell) modalitet, spesielt gjester(co-speech gestures), i sammenheng med menneskelig kommunikasjon. Mens muntligspråk tradisjonelt har vært hovedfokuset i lingvistisk forskning, er det økende interesse forå forstå betydningen av ikke-lingvistisk atferd og hvordan ulikekommunikasjonsmodaliteter samhandler. Studien undersøker hvordan muntlig språk ogmedtankegestikulering forholder seg til hverandre og utforsker deres potensiale for åformidle mening. Oppgaven diskuterer posisjonen til manuell(-visuell) modalitet ispråkteorien. Det introduserer Multimodal Parallel Architecture (PA) som en teoretiskmodell som kan tilpasse seg det dynamiske samspillet mellom persepsjon og muntlige oggestiske uttrykksformer. Det legges spesiell vekt på diskusjonen om romlig struktur, fordivår evne til å beskrive og kommunisere våre opplevelser avhenger av integrasjonen avmentale representasjoner av språk og persepsjon. Oppgaven legger vekt på at strukturellelikheter mellom muntlig språk og gjester kan ha oppstått som et resultat av delte kognitiveprinsipper eller historisk sameksistens og gjensidig forsterkning av disse modalitetene.Styrken ved rammeverket til Multimodal PA hevdes å være fleksibilitet ogtolkningsdyktighet. I en tolkning støtter den multimodale tilnærmingen ideen om at gjesterhar egne genererende prinsipper for å skape semantiske og syntaktiske strukturer. I dettetilfellet har gjester sitt eget system for å formidle mening, separat fra muntlig språk. Denneevnen tillater også gjester å omgå muntlig språk og til og med fungere uavhengig i noentilfeller. På den annen side mislykkes ikke rammeverket hvis gjester ikke er tilstrekkeligutviklet til å generere autonome strukturer, men bare kan integreres i systemet etablertav muntlig språk. Samlet sett viser avhandlingen at å ta i bruk en multimodal tilnærmingtil språk og å utvikle både teoretisk og eksperimentelt grunnlag for fremtidig forskning, eren måte for å besvare spørsmål om språkevolusjon og den menneskelige språkevne. This thesis investigates the role of manual(-visual) modality, specifically co-speechgestures, in the context of human communication. While spoken language has traditionallybeen the primary focus of linguistic research, there is a growing interest in understandingthe significance of non-linguistic behaviors and how different modes of communicationinteract. The study examines how spoken language and co-speech gestures relate to oneanother, exploring their potential to convey meaning. The work discusses the place ofmanual(-visual) modality in language theory. It introduces the Multimodal ParallelArchitecture (PA) as a theoretical model that can adapt to the dynamic interaction betweenperception and spoken and gestural modes of expression. Special attention is paid to thediscussion about Spatial Structure because our ability to describe and communicate ourexperiences relies on the integration of mental representation of language and perception.The thesis emphasizes that structural similarities between verbal language and gesturesmay have arisen from shared cognitive principles or the historical coexistence and mutualreinforcement of these modes. The strength of the framework of Multimodal PA is claimedto be its flexibility and interpretability. In one interpretation, the multimodal approachsupports the idea that gestures have their own generative principles for creating semanticand syntactic structures. In this view, gestures are seen as having their own system forconveying meaning, separate from spoken language. This ability also allows co-speechgestures to bypass spoken language and even function independently in some instances.On the other hand, the framework does not fail if gestures are not elaborate enough togenerate autonomous structures but can only be integrated into the system established byspoken language. In sum, the thesis shows that adopting a multimodal approach tolanguage and developing both theoretical and experimental basis for future research is away to answer the questions regarding language evolution and human language faculty.