Speech-entangled gesture as a linguistic phenomenon in its own right: towards a multimodal approach to language and evolution

Abstract

Denne masteroppgaven undersøker rollen til manuell(-visuell) modalitet, spesielt gjester (co-speech gestures), i sammenheng med menneskelig kommunikasjon. Mens muntlig språk tradisjonelt har vært hovedfokuset i lingvistisk forskning, er det økende interesse for å forstå betydningen av ikke-lingvistisk atferd og hvordan ulike kommunikasjonsmodaliteter samhandler. Studien undersøker hvordan muntlig språk og medtankegestikulering forholder seg til hverandre og utforsker deres potensiale for å formidle mening. Oppgaven diskuterer posisjonen til manuell(-visuell) modalitet i språkteorien. Det introduserer Multimodal Parallel Architecture (PA) som en teoretisk modell som kan tilpasse seg det dynamiske samspillet mellom persepsjon og muntlige og gestiske uttrykksformer. Det legges spesiell vekt på diskusjonen om romlig struktur, fordi vår evne til å beskrive og kommunisere våre opplevelser avhenger av integrasjonen av mentale representasjoner av språk og persepsjon. Oppgaven legger vekt på at strukturelle likheter mellom muntlig språk og gjester kan ha oppstått som et resultat av delte kognitive prinsipper eller historisk sameksistens og gjensidig forsterkning av disse modalitetene. Styrken ved rammeverket til Multimodal PA hevdes å være fleksibilitet og tolkningsdyktighet. I en tolkning støtter den multimodale tilnærmingen ideen om at gjester har egne genererende prinsipper for å skape semantiske og syntaktiske strukturer. I dette tilfellet har gjester sitt eget system for å formidle mening, separat fra muntlig språk. Denne evnen tillater også gjester å omgå muntlig språk og til og med fungere uavhengig i noen tilfeller. På den annen side mislykkes ikke rammeverket hvis gjester ikke er tilstrekkelig utviklet til å generere autonome strukturer, men bare kan integreres i systemet etablert av muntlig språk. Samlet sett viser avhandlingen at å ta i bruk en multimodal tilnærming til språk og å utvikle både teoretisk og eksperimentelt grunnlag for fremtidig forskning, er en måte for å besvare spørsmål om språkevolusjon og den menneskelige språkevne.

This thesis investigates the role of manual(-visual) modality, specifically co-speech gestures, in the context of human communication. While spoken language has traditionally been the primary focus of linguistic research, there is a growing interest in understanding the significance of non-linguistic behaviors and how different modes of communication interact. The study examines how spoken language and co-speech gestures relate to one another, exploring their potential to convey meaning. The work discusses the place of manual(-visual) modality in language theory. It introduces the Multimodal Parallel Architecture (PA) as a theoretical model that can adapt to the dynamic interaction between perception and spoken and gestural modes of expression. Special attention is paid to the discussion about Spatial Structure because our ability to describe and communicate our experiences relies on the integration of mental representation of language and perception. The thesis emphasizes that structural similarities between verbal language and gestures may have arisen from shared cognitive principles or the historical coexistence and mutual reinforcement of these modes. The strength of the framework of Multimodal PA is claimed to be its flexibility and interpretability. In one interpretation, the multimodal approach supports the idea that gestures have their own generative principles for creating semantic and syntactic structures. In this view, gestures are seen as having their own system for conveying meaning, separate from spoken language. This ability also allows co-speech gestures to bypass spoken language and even function independently in some instances. On the other hand, the framework does not fail if gestures are not elaborate enough to generate autonomous structures but can only be integrated into the system established by spoken language. In sum, the thesis shows that adopting a multimodal approach to language and developing both theoretical and experimental basis for future research is a way to answer the questions regarding language evolution and human language faculty.