Reinforcement Learning for Robotic Ultrasound
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3016713Utgivelsesdato
2022Metadata
Vis full innførselSamlinger
Beskrivelse
Full text not available
Sammendrag
Denne masteroppgaven er et studie av “deep reinforcement learning” for robotisertultralyd. Å bruke autonome roboter i helsesektoren er et komplekst bruksområde medmange faktorer å ta hensyn til. For eksempel, utfordingen med at en robotarm skalsamhandle med en menneskekropp. I tillegg til å ta stilling til at alle mennesker er ulike,må man også tenke på faktorer som pustebevegelser og faktumet at menneskekroppener et mykt objekt. “Reinforcement learinng” krever en stor mengde med trening, noesom også er en utfordring. Av sikkerhetmessige hensyn, i tillegg til en kompleksitetmed data og variasjon, utføres all trening og testing i et simulert miljø.Det simulerte miljøet består av et menneskelig objekt, et bord og en madrass i enarena med sykehustema. Som robot manipulator er robotarmen Panda brukt med enultralydprobe plassert på enden av robotarmen. Oppgaven som skal utføres innebærerat robotarmen skal nå et markert punkt plassert rett ved overflaten til det menneskeligeobjektet.Kameraobservasjoner er en essensiell del av å klare å forstå miljøet, og er et viktigverktøy for å klare å tilpasse seg forandringer og være adaptiv i møte med forskjelligehendelser. For å klare å løse oppgaven er flere kamera plassert i miljøer. Et kamera erplassert foran robotarmen, et på robotarmen og et er plassert over slik at det ser nedpå menneskekroppen.“Reinforcement learning” problemet har blitt testet ut ved hjelp av tre nettverksarkitekturer. De er blitt testet ved å bruke en MLP, en CNN og en MLP-CNN ogderetter er disse ulike metodene blitt sammenliknet. Metoden som bruker MLP-CNNviser det mest lovende resultatet og utkonkurerer de andre metodene ved å klare å nådet markerte punktet på en effektiv måte. Den beste metoden er så videre blitt testetmed en annen kontroller "joint position". Kontrolleren “operational space controller”brukt i utgangspunktet, viser seg å være best for denne oppgaven. This thesis is a study of deep reinforcement learning for a robotic ultrasound. Usingautonomous robots in health care is a complex matter with many cautions to consider.For instance, the complexity of a robot arm interacting with a human body. Not onlydo all humans have intrinsic variations, but there are also many other factors suchas breathing motion and the soft body that hampers consistent acoustic contact withthe surface. Reinforcement learning requiring a large amount of training is also achallenge. Due to the safety aspect and the high complexity, all the research in thisthesis is done in a simulated environment.The simulated environment consists of a human object, a table, and a mattressin a hospital-themed arena. A Panda robot arm with an ultrasound probe placed onthe end-effector is used as the robotic manipulator. The task consist of reaching arandomized marker placed right above the surface of the human body.For this problem, the camera is an essential sensor modality, and camera observations are an impotent tool for handling the dynamic environment and being ableto adapt to different events. For solving the task, several different cameras are placedin the environment. One camera is placed in front of the table and the human with agood view of the robot manipulator, one camera is placed on the robot arm and onecamera is placed looking down at the human object.The reinforcement learning problem has been tested using different network architectures, such as multilayered perceptron (MLP), convolutional neural networks(CNN) and combined extractors (MLP-CNN). The different approaches have been compared for the given task. The MLP-CNN results yields the most promising outcomeand outperforms the other methods by being able to reach the marker in an efficientmanner. This method is then tested and compared with a joint position controller. Theoperational space controller(OSC), which is the original controller used for testing,produced better results.