Autonomous Vehicle Control: Variational Autoencoders and Reinforcement Learning

Abstract

I en tid hvor kunstig intelligens gjør stor fremgang gjenstår de største utfordringene. En av disse utfordringene er å lage helautomatiske kjøretøy. Over det siste tiåret har maskinvare blitt utrolig raskt og utallige algoritmer har blitt oppfunnet og optimisert på programvare siden. I denne avhandlingen vil flere aspekter rundt helautomatiske kjøretøy bli utforsket, og topp moderne algoritmer innenfor forsterkende læring vil bli anvendt i realistiske simuleringer og kombinert med metoder funnet i ikke-veiledet læring: Autokodere. Sensor data vil bli kodet til en liten vektor ved å bruke en trent autokoder. Denne vektoren vil så bli brukt i en algorithme i forsterket læring for å trene et kjøretøy. Autokodere lærer seg å rekonstruere bilder etter å ha komprimert de til en veldig liten vektor og en bil lærer seg å kjøre både i en enkel simulering og i en mer sofistikert simulering til en viss grad. Autokodere viser seg å gi en stor økning i ytelse på lang sikt uten å gi for mye tap i verdiene og forsterket læring agenten klarer å bruker dette til å lære seg å kjøre.

In a time where artificial intelligence is making great progress, the biggest challenges are yet to be solved. One of these challenges is to make fully autonomous vehicles. Over the last decade, hardware has become incredibly fast, and countless algorithms has been invented and optimized on the software side. Better simulations are available making research and prototyping autonomous cars easier than ever. In this thesis, multiple aspects of autonomous vehicles will be explored, and a state-of-the-art reinforcement learning algorithm will be applied in a realistic simulation and combined with a method found in unsupervised learning: Autoencoders. Sensory input will be encoded to a small vector using a trained autoencoder. This encoded vector will then be used in a reinforcement learning algorithm to train a vehicle. Autoencoders learns to reconstruct images after compressing them to a very small vector and a car learns to drive in both a simple simulation and in a more sophisticated simulation to some extent. Autoencoders are shown to give a big performance boost in the long term without seeing much loss in terms of rewards and the reinforcement learning agent is able to use this to learn how to drive.