En CBR-ANN hybrid for dynamiske miljøer

Abstract

Denne oppgaven presenterer en beskrivelse av hvordan en AI agent kan lære å tilpasse seg mange forskjellige situasjoner i et dynamisk miljø. Metoden som er foreslått er et case-based reasoning og kunstig nevrale nettverk hybrid system, som lar et case-based reasoning system velge mellom flere spesialiserte nevralnett som er trent gjennom reinforcement learning. Miljøet som er valgt til å teste i er spillet Mega man 2 for Nintendo Entertainment System. Motivasjonen bak prosjektet er å utvide bruken av nevralnett, for de kan bli observert til å være meget gode til å lære seg en enkelt oppgave i tidligere arbeid. De sliter derimot når antallet hypoteser i miljøet vokser seg for store, og lærer seg kanskje bare et lite sett av det totale miljøet. Derfor blir det foreslått å kombinere nevralnett med case-based reasoning, som tillater systemet å å velge mellom passende experter for forskjellige subsett av hele mengden med hypoteser. Bidragene fra denne oppgaven er en ny metode for dynamiske, kontinuerlige miljøer, som løser problemet bedre enn kontroll metoden som den ble testet mot. Oppgaven tilbyr også en god base for videre forskning på metoden. Oppgaven følger en detuktiv forskningstilnærming. Den utforsker relatert literatur før en test er utformet for CBR-ANN hybriden. Metoden er så testet mot en ren nevralnett implementasjon.

This thesis presents a description of how to let an AI agent learn to adapt to many different situations in a dynamic environment. The method suggested is a Case-based reasoning and artificial neural network hybrid system, which makes the case-based reasoning system chose between several expert neural networks trained with reinforcement learning. The environment chosen to test the solution on is the video game Mega Man 2 for the Nintendo Entertainment System. The motivation behind the project is to expand on neural networks, as they are seen to be very good at learning a single task in an environment in previous works. However, they tend to struggle when the hypothesis space of the environment becomes too large, and might only learn a small subset of the total environment. Therefore it is suggested to combine the neural networks with case-based reasoning, allowing the system to choose between the most fitting experts for different subsets of the entire hypothesis space. The contributions made in this thesis is a new method for dynamic, continuous environments, that solves the problem better than the baseline tested against in this thesis. The thesis also offers a good base for further research, with its extensive future work section. The thesis follows a deductive research approach. It explores the related literature, before designing a test for the suggested CBR-ANN hybrid solution. The method is then be tested against a pure artificial neural network approach.