The Cyborg v4.0 - Computer Vision Module: Towards a Socially Intelligent Robot

Abstract

Denne avhandlingen presenterer Datasynmodulen, utformet for Cyborg roboten. Motivert av fordelen av å forbedre interaksjoner mellom mennesker og roboter, sikter dette prosjektet på å implementere et system som klarer å detektere vanlig menneskelig adferd, som kan bane vei for at Cyborgen kan bli en sosialt intelligent robot. Datasynmodulen er implementert på et Jetson TX1 utvikler brett, som henter bilder fra et første generasjons ZED stereoskopisk kamera. Avhandlingen presenterer en diskusjon som omhandler hvordan å lage en sosial robot, med elementer fra psykologifaget. Diskusjonen foreslår at å observere individuell mennesklig adferd og ansiktsuttrykk kan danne et grunnlag for at Cyborgen kan bli en sosialt intelligent robot. Datasynmodulen sporer individuelle mennesker ved hjelp av YOLO \textit{object detection}, kombinert med SORT \textit{multiple object tracking}. Videre estimerer modulen de relative horisontale koordinatene til de sporede menneskene. Datasynmodulen detekterer menneskets ansiktsuttrykk ved hjelp av OpenCV \textit{Haar Cascade} smil og ansikt klassifikatorer. I tillegg teller modulen antall mennesker som befinner seg i området. Datasynmodulen klarer å detektere den nevnte informasjonen tilstrekkelig, med 2 meters rekkevidde til mennesket. Datasynmodulen er integrert som en pakke i ROS, og det presenteres en prosedyre for å koble ROS nettverket på Jetson TX1 brettet til en ROS Master på en ekstern maskin. Dette muliggjør at Datasynmodulen på Jetson TX1 brettet kan bli integrert med resten av Cyborg ROS systemet, som befinner seg på Cyborg datamaskinen. Det er testet at Datasynmodulens deteksjoner gjøres tilgjengelig for en abonnerende ROS Node på en ekstern maskin innen 0.5 sekunder, som tillater at Cyborgen kan reagere i sanntid. Hastigheten til det totale systemet er testet til å klare en utgangfrekvens på rundt 3Hz, avhengig av innholdet i bildene.

This thesis presents the computer vision (CV) module designed for the Cyborg robot. Motivated by the advantages of improving interactions between people and robots, this thesis aims to implement a system capable of detecting natural human behavior, allowing the Cyborg to become a socially intelligent robot. The CV module is implemented on the Jetson TX1 Developer board, retrieving images from the first generation ZED Stereoscopic camera. The thesis presents a discussion on how to create a social robot, featuring elements from psychology. The discussion presented, suggests observing individual human behaviour and facial expressions serve as a foundation for making the Cyborg a socially intelligent robot. The CV module tracks individual people using YOLO object detection, in combination with SORT multiple object tracking. The module further estimates the tracked people's horizontal relative coordinates. The CV module detects human facial expressions using OpenCV Haar Cascade face and smile classifiers. In addition, the module counts the number of people located in the surroundings. The CV module manages sufficiently to detect the mentioned information, with a range of 2 meters to the person. The CV module is integrated as a package in ROS, and a procedure for connecting the ROS network on the Jetson TX1 board to a ROS Master on an external machine is presented. This allows the CV module on the Jetson TX1 board to be integrated with the rest of the Cyborg ROS system, located on the Cyborg base computer. The CV module is tested to make the detected information available for a subscribing ROS Node on an external machine within 0.5 seconds, allowing the Cyborg to react in real-time. The total CV module speed is tested to manage an output frequency of about 3Hz, depending on the captured environment in the images.