dc.contributor.advisor | Baggio, Giosuè | |
dc.contributor.author | Roshchina, Alevtina | |
dc.date.accessioned | 2024-01-12T18:19:35Z | |
dc.date.available | 2024-01-12T18:19:35Z | |
dc.date.issued | 2023 | |
dc.identifier | no.ntnu:inspera:158183051:90155591 | |
dc.identifier.uri | https://hdl.handle.net/11250/3111384 | |
dc.description.abstract | Denne masteroppgaven undersøker rollen til manuell(-visuell) modalitet, spesielt gjester
(co-speech gestures), i sammenheng med menneskelig kommunikasjon. Mens muntlig
språk tradisjonelt har vært hovedfokuset i lingvistisk forskning, er det økende interesse for
å forstå betydningen av ikke-lingvistisk atferd og hvordan ulike
kommunikasjonsmodaliteter samhandler. Studien undersøker hvordan muntlig språk og
medtankegestikulering forholder seg til hverandre og utforsker deres potensiale for å
formidle mening. Oppgaven diskuterer posisjonen til manuell(-visuell) modalitet i
språkteorien. Det introduserer Multimodal Parallel Architecture (PA) som en teoretisk
modell som kan tilpasse seg det dynamiske samspillet mellom persepsjon og muntlige og
gestiske uttrykksformer. Det legges spesiell vekt på diskusjonen om romlig struktur, fordi
vår evne til å beskrive og kommunisere våre opplevelser avhenger av integrasjonen av
mentale representasjoner av språk og persepsjon. Oppgaven legger vekt på at strukturelle
likheter mellom muntlig språk og gjester kan ha oppstått som et resultat av delte kognitive
prinsipper eller historisk sameksistens og gjensidig forsterkning av disse modalitetene.
Styrken ved rammeverket til Multimodal PA hevdes å være fleksibilitet og
tolkningsdyktighet. I en tolkning støtter den multimodale tilnærmingen ideen om at gjester
har egne genererende prinsipper for å skape semantiske og syntaktiske strukturer. I dette
tilfellet har gjester sitt eget system for å formidle mening, separat fra muntlig språk. Denne
evnen tillater også gjester å omgå muntlig språk og til og med fungere uavhengig i noen
tilfeller. På den annen side mislykkes ikke rammeverket hvis gjester ikke er tilstrekkelig
utviklet til å generere autonome strukturer, men bare kan integreres i systemet etablert
av muntlig språk. Samlet sett viser avhandlingen at å ta i bruk en multimodal tilnærming
til språk og å utvikle både teoretisk og eksperimentelt grunnlag for fremtidig forskning, er
en måte for å besvare spørsmål om språkevolusjon og den menneskelige språkevne. | |
dc.description.abstract | This thesis investigates the role of manual(-visual) modality, specifically co-speech
gestures, in the context of human communication. While spoken language has traditionally
been the primary focus of linguistic research, there is a growing interest in understanding
the significance of non-linguistic behaviors and how different modes of communication
interact. The study examines how spoken language and co-speech gestures relate to one
another, exploring their potential to convey meaning. The work discusses the place of
manual(-visual) modality in language theory. It introduces the Multimodal Parallel
Architecture (PA) as a theoretical model that can adapt to the dynamic interaction between
perception and spoken and gestural modes of expression. Special attention is paid to the
discussion about Spatial Structure because our ability to describe and communicate our
experiences relies on the integration of mental representation of language and perception.
The thesis emphasizes that structural similarities between verbal language and gestures
may have arisen from shared cognitive principles or the historical coexistence and mutual
reinforcement of these modes. The strength of the framework of Multimodal PA is claimed
to be its flexibility and interpretability. In one interpretation, the multimodal approach
supports the idea that gestures have their own generative principles for creating semantic
and syntactic structures. In this view, gestures are seen as having their own system for
conveying meaning, separate from spoken language. This ability also allows co-speech
gestures to bypass spoken language and even function independently in some instances.
On the other hand, the framework does not fail if gestures are not elaborate enough to
generate autonomous structures but can only be integrated into the system established by
spoken language. In sum, the thesis shows that adopting a multimodal approach to
language and developing both theoretical and experimental basis for future research is a
way to answer the questions regarding language evolution and human language faculty. | |
dc.language | eng | |
dc.publisher | NTNU | |
dc.title | Speech-entangled gesture as a linguistic phenomenon in its own right: towards a multimodal approach to language and evolution | |
dc.type | Master thesis | |