From the eye to the hippocampal formation: Neural networks as analysis and discovery tools

Abstract

Sammendrag Ønsket om å forstå hvordan menneskesinnet fungerer har nådd inn til mange tidligere adskilte fagfelt, som alle jobber sammen i søken etter å løse menneskehjernens mange mysterier. I denne avhandlingen fokuserer vi på synergi mellom nevrovitenskap og kunstig intelligens og utforsker prosjekter i skjæringspunktet mellom disse. Interessen for forskning på kunstig intelligens i utforskningen av hjernen blir drevet av jakten på kunstig generell intelligens, en datamodell som etterligner menneskelig intelligens. Til motsetning, ser nevrovitenskapen på hvordan slik beregning blir utført i hjernens avgrensede biologiske substrat og hvordan det gir opphav til persepsjon, handling og komplisert atferd. For å styrke vår kunnskap om disse prosessene, undersøkte vi opptak av hjernecelleaktivitet i mennesker og gnagere i forskjellige atferdsmessige kontekster. Vi utviklet et komputeringsrammeverk til å dekode sensoriske og atferdsmessige variabler direkte fra bredbåndet nevral aktivitet. Dette tillater automatisk avhør av nevrale responser på tvers av arter og opptaksteknikker, inkludert elektrofysiologi og tofotons kalsiumavbildning i gnagere så vel som elektrokortikografi i mennesker. Vi viser også at lignende datamodeller kan utlede blikkposisjoner fra deltakere i fMRI-eksperimenter, som erstatter kostbare blikksporingsapparater med letthåndterlig programvare med åpen kildekode. Til sist, så studerer vi hvordan egosentrisk informasjon fra øyne og visuell cortex blir omformet til en allosentrisk representasjon i hippocampusformasjonen, som gir bevis til støtte for påstanden at biologisk realistiske nevrale nettverk kan forstå komplekse scener fra kun egosentrisk input. Til konklusjon, så presenterer avhandlingen overbevisende støtte for bruk av maskinlæring i nevrovitenskap. Det brolegger veien mot et integrert system der nevrovitere kan benytte kapasiteter fra maskinlæringsmodeller med enkelhet og viser hvordan ‘in silico’-modeller kan brukes som modeller for hjernen.

Summary The desire to understand how our mind works permeates many once separated research fields, all working together in a quest to unlock the mysteries of the human brain. In this thesis, we focus on the synergy between neuroscience and artificial intelligence and pursue projects at the intersection of both. The interest of artificial intelligence research in exploring the brain is fueled by the pursuit of artificial general intelligence, a computational model that mimics human intelligence. Contrary to that, neuroscience explores how these computations are executed in the constrained biological substrate of the brain and how they give rise to perception, action and complex behaviours. To extend our knowledge of these processes, we examined neural recordings from humans and rodents in different task settings. We developed a computational framework to decode sensory and behavioural variables directly from wide-band neural activity. This allows the automatic interrogation of neural responses across species and recording techniques, including electrophysiology and two-photon calcium imaging in rodents as well as electrocorticography in humans. We also show that similar computational models can infer gaze positions from participants in fMRI experiments, replacing expensive eye trackers with a simple-to-use and open-source software solution. Finally, we study how egocentric information from our eyes and the visual cortex is transformed into an allocentric representation in the hippocampal formation, providing evidence that biologically realistic neural networks can understand complex scenes from egocentric input alone. In conclusion, this thesis presents compelling evidence for the use of machine learning in neuroscience. It paves the way toward an integrated system in which neuroscientists are able to leverage the powers of machine learning models easily and shows how ’in silico’ models can be used as models of the brain.