Exploring the Impact of Reactive and Reinforcement Learning Agents on Brain Activity and Behavior in Games

Abstract

Få studier har brukt hjerneaktivitet og personlighet for å utforske hvordan agenter utviklet med forskjellige metoder i kunstig intelligens (KI) kan påvirke mennesker forskjellig i en videospillkontekst. Det er viktig å fylle dette kunnskapsgapet for å veilede videre utvikling i spill-KI slik at man kan skape underholdende datamaskinstyrte motstandere for forskjellige typer mennesker. Denne spesifikke kunnskapen kan også gi innsikt i hvordan forskjellige KI-agenter påvirker hvordan mennesker tilpasser seg situasjoner i videospill over tid.

Ved å utvikle KI-agenter for et kanonballspill med fire distinkte KI-metoder og definere metrikker for å fange opp spillatferd, fikk vi en større forståelse for de ulike agentene. De fire metodene var (1) reaktive agenter utviklet med forhåndsdefinerte regler, (2) forsterkningslæring med Proximal Policy Optimization og Intrinsic Curiosity Module, (3) imitasjonslæring med Generative Adversarial Imitation Learning, og (4) nevroevolusjon med NeuroEvolution of Augmenting Topologies. Ved å gjennomføre brukertester og et KI-spilleksperiment, kunne vi ta en informert beslutning om de to mest egnede agentene for et eksperiment med en fMRI-skanner, nærmere bestemt en reaktiv agent (RA) og en forsterkningslæringsagent (RL). Dette eksperimentet studerte hjerneaktiviteten assosiert med hver av de to KI-agentene, samt hvordan spillerne tilpasset atferden sin til agentene de spilte mot. Deltakerne fullførte også spørreskjemaer om preferanser og subjektive oppfatninger av KI-agentene underveis og etter spilling, samt et sett med personlighetsspørreskjemaer.

Studien fant at de fleste deltakerne foretrakk RL-agenten og rapporterte at de likte den bedre, at den var mer uforutsigbar og at den var mindre utfordrende sammenlignet med RA-agenten. RA-agenten var også assosiert med mer hjerneaktivitet enn RL-agenten, spesielt i synssenteret. Under spill mot RA-agenten hadde deltakerne større grad av aggressive bevegelser, og tilpasset atferden sin over tid ved å gjemme seg mer bak busker sammenlignet med RL-spill. Dette var forskjellig fra spill mot RL-agenten, hvor deltakerne utviklet mer defensive bevegelser over tid. Videre hadde deltakerne som foretrakk RA-agenten en tendens til å oppholde seg mindre i midtdelen av banen sammenlignet med deltakerne som foretrakk RL-agenten. Personlighetstrekkene ekstroversjon og følsomhet for straff viste seg å være henholdsvis negativt og positivt korrelert med preferanse for RL-agenten. Preferanse for RA-agenten var assosiert med høyere følsomhet for belønning. Disse funnene viser at til tross for forutsigbarheten til den reaktive agenten, ble deltakerne fortsatt utfordret og de tilpasset oppførselen sin til agentens atferd. På en annen side ga den nysgjerrighetsdrevne RL-agenten en mer variert utfordring og en spillopplevelse deltagerne likte bedre. Resultatene indikerer imidlertid at oppfatningen av KI avhenger av spilleren og kan være relatert til aspekter av personlighet og atferd i spill.

Few studies have used brain activity and personality to explore how agents developed with different artificial intelligence (AI) methods can affect humans differently in a video game context. Filling this knowledge gap is important to guide further development in game AI to create enjoyable computer-controlled opponents for different types of people. This specific knowledge can also provide insights into how different AI agents influence how humans adapt to situations in video games over time.

By developing AI agents for a dodgeball game with four distinct AI methods and defining metrics to capture player behavior, we gained a greater understanding of the different agents. The four methods were (1) reactive agents created with predefined rules, (2) reinforcement learning with Proximal Policy Optimization and Intrinsic Curiosity Module, (3) imitation learning with Generative Adversarial Imitation Learning, and (4) neuroevolution with NeuroEvolution of Augmenting Topologies. By conducting user tests and an AI gameplay experiment, we made an informed decision about the two most suitable agents for an experiment with a functional magnetic resonance imaging (fMRI) scanner, namely a reactive (RA) agent and a reinforcement learning (RL) agent. This experiment studied the brain activity associated with each of the two AI agents as well as how players adjusted their behavior to the agents. Participants also completed questionnaires on their preferences and subjective perceptions of AI agents during and after playing, and a set of personality questionnaires.

The study found that most of the participants preferred the RL agent and rated it as more likeable, more unpredictable and less challenging compared to the RA agent. The RA agent was also associated with more brain activity than the RL agent, particularly in the visual cortex. During play against the RA agent, the participants displayed higher degrees of aggressive movements and adapted their behavior to hide more behind bushes over time compared to RL game sessions. This differed from games against the RL agent, where participants played more defensively over time. Further, participants preferring the RA agent had less tendency to stay in the middle part of the game field compared to participants preferring the RL agent. The personality traits extroversion and sensitivity to punishment were shown to be negatively and positively correlated with likeability of the RL agent, respectively. The preference for the RA agent was associated with higher sensitivity to reward. These findings show that despite the predictable nature of the reactive agent, the participants were still challenged and actively adapted their strategies to the agent's behavior. Conversely, the curiosity-driven RL agent provided a more varied challenge and enjoyable playing experience. However, the results indicate that the perception of AI depends on the player and might be related to aspects of personality and behaviors in games.