Pepper as an assistant in the library: Identifying books using machine learning

Abstract

Roboter er mer til stedet enn på noe tidligere tidspunkt gitt den hyppige teknologiske utviklingen de siste tiårene. Sosiale roboter er et eksempel på dette. De er humanoide roboter, designet for sosial interaksjon med mennesker og andre roboter. Andre roboter, som bibliotekroboter, er designet for automatiserte prosesser og bokidentifisering. Biblioteksrobotene er derimot ikke designet for sosiale interaksjoner på likt vis som sosiale roboter. Denne masteroppgaven ser på muligheten for å bruke sosiale roboter, som mangler sensoren som muliggjør identifisering av bøker, i biblioteker. For å utforske muligheten for å bruke en sosial robot i biblioteket, fokuserer denne masteroppgaven på å utvikle en måte for en sosial robot, Pepper, å oppdage bøker i sitt miljø. Målet er å kombinere Peppers kamera med Computer Vision-teknikker som objektdeteksjon og OCR. Dette for å gjøre det mulig for roboten å lese titlene på bøkene foran seg. Flere modeller og parametere ble sammenlignet i forsøket, og funnene viser at EasyOCR er den mest nøyaktige modellen. Selv om resultatene av OCR ikke passer perfekt til teksten som er skrevet på bøkene, er feilraten lav nok til at den er gjenkjennelig. Denne studien presenterer en ny måte for Pepper å lære av omgivelsene sine, og kan tjene som grunnlag for fremtidig arbeid knyttet til at Pepper brukes i biblioteket.

With the development of new technologies in the last decades, robots are more present than ever in our daily lives. Social robots are an example of this. They are humanoid robots, designed for social interactions with humans and other robots. Another example of this is robots being used in libraries, to help locate books and automate processes. However, these library robots don’t have social interactions with people the way social robots do, and social robots themselves lack the sensors that enable other robots to detect and identify books. In order to explore the possibility of using a social robot in the library, this master thesis focuses on developing a way for a social robot, Pepper, to detect books in its environment. The objective is to combine Pepper’s camera with Computer Vision techniques such as object detection and OCR in order to enable the robot to read the titles of books in front of it. Several models and parameters were compared in the experiment, and the findings show that EasyOCR is the most accurate model for this task. Although the results of the OCR do not fit perfectly the text written on the books, the error rate is low enough for it to be recognizable. This study presents a new way for Pepper to learn from its environment, and can serve as a basis for future work related to Pepper being used in the library.