Perception and the cognitive map - Deriving a stable world from visual inputs

Abstract

Norsk sammendrag Hjernen skaper stabile og sammenhengende representasjoner av verden fra omskiftelige perseptuelle input. Denne prosessen involverer et omfattende nettverk i hjernen, fra de tidlige synssentrene på lavt nivå til hukommelsessentrene i den mediale tinninglapp på høyere nivå. Langs denne banen gjennomgår informasjon fra visuelle input en rekke endringer før den ender opp som del av det kognitive kartet, som utgjør en ikke-sensorisk representasjon av omgivelsene som understøtter hukommelse og atferd. I mitt doktarbeid undersøkte jeg det nevrale grunnlaget for spatial persepsjon og kognitive kart i menneskehjernen, samt hvordan det kan knyttes til hukommelse og atferd. Prosjektene som presenteres, tilnærmet seg problemstillingene fra flere vinkler ved å fokusere på ulike komputeringstrinn langs den hierarkiske rekkefølgen av kortikale områder. Vi undersøkte først hvordan synssystemet stabiliserer visuell persepsjon under bevegelse ved å observere menneskelig hjerneaktivitet ved bruk av magnetresonanstomografi (fMRI) under en visuell sporingsoppgave (VSO). Da oppdaget vi at et stort nettverk av områder kodet for visuell bevegelse uavhengig av selvbevegelse, inkludert i de tidlige synssentrene på laveste nivå. Denne mekanismen forankrer visuell persepsjon eksternt i ens omgivelser. Deretter undersøkte vi hvordan høyere kognitive områder representerer ens synlige omgivelser. Fremdeles ved bruk av fMRI og en VSO, observerte vi gittercellelignende aktivitet i entorhinal cortex, et hjerneområde vi vet kartlegger omgivelsene ved navigering. Vi fant en fMRI-signatur som lignet på denne aktiviteten som samsvarte med øyebevegelsene alene. Dette utgjør det første bevis på at entorhinal cortex også koder for et ikke-sensorisk kart over synsfeltet i mennesket. Det siste prosjektet samførte sensoriske og ikke-sensoriske spatiale representasjoner og fokuserte eksplisitt på atferden de understøtter. Jeg utviklet et toppmoderne prediktivt modelleringsrammeverk til studier av naturtro atferd ved bruk av virtuell virkelighet og ultrahøyfelts fMRI i mennesker. Undersøkelser av retningsstuning i regioner for navigasjon og visuell sceneprosessering viste at omgivelsesprosessering på tvers av nettverket er avhengig av korrekt innkoding av omgivelsene. Samlet sett opplyser dette verket om hvordan menneskehjernen integrerer perseptuelle opplevelser i kognitive kart over omgivelsene. Det demonstrerer sterk gjengjeldelse mellom visuell koding og høyere kognitiv koding, samt belyser videre at det spatiale kartleggingssystemet understøtter domenegenerelle funksjoner som understøtter atferd.

English summary Our brain derives stable and unified representations of the world from everchanging perceptual inputs. This process engages a large brain network spanning from early visual to high level memory regions in the medial temporal lobe. Along this pathway, visual information undergoes a series of transformations, which ultimately culminate in the formation of the cognitive map, a non-sensory representation of the environment that guides memory formation and behavior. In my doctoral work, I examined the neural underpinnings of spatial perception and cognitive mapping in the human brain as well as their relationship to behavior and memory. The projects presented here approach these questions from multiple angles by focusing on di erent computational stages along the cortical hierarchy. With my coauthors, I examined how our visual system stabilizes perception when we move. We investigated this by monitoring human brain activity with functional magnetic resonance imaging (fMRI) during a visual tracking task (VTT). We found that a large network of regions encoded visual motion independent of our own movements, including even the earliest visual cortices in the brain. This mechanism anchors our visual perception in space. Next, we investigated how high level regions represent the space we see. Again using fMRI and a VTT, we examined grid-cell like activity in the entorhinal cortex, an area known to map space during navigation. We found an fMRI-signature that resembled this process using eye movements alone, providing the first evidence that the human entorhinal cortex encodes a non-sensory map of visual space as well. The final project then bridged across sensory and non-sensory spatial representations and explicitly focused on the behavior they support. I developed a state-of-the-art predictive modeling framework to study naturalistic behavior using virtual reality and 7T-fMRI in humans. Examining directional tuning in visual scene processing and navigation regions revealed that network-wide environmental processing depends on the successful encoding of the environment. Collectively, this work illuminates how the human brain integrates perceptual experiences into cognitive maps of the environment. It demonstrates strong reciprocity between visual and high level cognitive coding and further highlights that our spatial mapping system supports domain-general functions in the service of behavior.