Spatial representation of a virtual environment in a deep neural network

Abstract

De siste tiårene har forskere gjort store framskritt i å karakterisere det nevrobiologiske fundamentet for spatial kognisjon. Særskilt har nevrobiologiske funn ikke vært begrenset til aktiv utforskning av den fysiske omverden. Nevroforskere har i det siste begynt å ta i bruk virtuell virkelighet (VR) for å redegjøre mer detaljert om spatial koding i hjernen, men det er fremdeles uklart hvilke spesifikke nevrale beregninger som veileder spatial navigasjon. I et forsøk på å avdekke slike nevrale beregninger bygde vi et konvolusjonsbasert (convolutional) nevralt nettverk (CNN) for å undersøke hvordan en simulert agent lærer virtuelle omgivelser. Vi fant at vårt CNN lærte de virtuelle omgivelsene gjennom enhetsbaserte responser som lignet på tidligere oppdagede stedsmodulerte nevrale signaler i hippocampus, samt nye 'hjørneenheter'. Disse resultatene kan være hint om viktigheten og effektiviteten av stedsmodulerte celler i å evaluere fysiske omgivelser både i simulerte navigerende agenter, og i utforskende organismer.

In recent decades, scientists have made great advances in characterizing the neurobiological foundations of spatial cognition. Notably, neurobiological findings have not been limited to active exploration of the physical world. Neuroscientists have more recently started to use virtual reality (VR) approaches to develop more detailed accounts of spatial coding in the brain, but the specific neural computations guiding spatial navigation remain unclear. Attempting to uncover these neural computations, we built a deep convolutional neural network (CNN) to investigate how a simulated agent learns a virtual environment. We found that the CNN learned the layout of the virtual environment mainly via unit responses that resembled previously discovered spatially modulated hippocampal neural signals, as well as novel ‘corner’ units. These results give a hint of the importance and efficiency of spatially modulated cells in evaluating physical environments in both artificial navigating agents and exploring organisms.