Machine-learning techniques for human-robot collaboration in manufacturing
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3150760Utgivelsesdato
2024Metadata
Vis full innførselSamlinger
Sammendrag
Denne masteroppgaven tar for seg utfordringene med effektivt samarbeid mellom mennesker og roboter i produktproduksjon, med fokus på bruk av maskinlæringsteknikker og deres potensielle anvendelser. Den utforsker håndfølging ved bruk av MediaPipes hånddetektor og et dybdekamera for å styre robotbevegelser i visuelle servoingsoppgaver, omtrening av MediaPipes objektdetektor for nye objektkategorier innen produksjon, og språkmodell-drevet robotoppgaveplanlegging ved hjelp av GPT-modellfamilien. Oppgaven sammenligner ArUco-markørfølging med MediaPipe og dybdekamera-metoden, og de eksperimentelle resultatene tydeliggjør sistnevntes lovende egenskaper for håndfølging uten hansker. Resultatene understreker imidlertidig også behovet for videre utvikling for å håndtere dynamiske miljøer og situasjoner hvor operatøren holder verktøy mens hen har på seg arbeidshansker. Oppgaven foreslår videre forskning på å lage et tilpasset datasett for å trene en håndgjenkjenningsalgoritme basert på maskinlæring skreddersydd for arbeidssituasjoner, inkludert scenarier hvor operatøren bruker arbeidshansker. Videre avdekket omtreningen av MediaPipes objektdetektor utfordringer som bildenedskalering og modellens skjevhet mot kontekstuell informasjon mellom objekter. Til tross for disse utfordringene presenterer masteroppgaven en trinnvis guide for omtrening og fant at det kun kreves 20 arbeidstimer for å legge til én objekttype i modellen, inkludert tiden som trengs for å lage datasettet. Til slutt fant oppgaven at integrering av store språkmodeller med objektdeteksjon viser potensial for fleksibel oppgaveplanlegging basert på enkle språkkommandoer fra menneskelige operatører. Denne integreringen lar roboten være oppmerksom på sine omgivelser gjennom objektdeteksjon, og forankrer oppgaveplanleggingen i den virkelige verden. Imidlertidig påvirker variasjon i responsene fra språkmodellen systemets pålitelighet. Funnene i masteroppgaven demonstrerer muligheter og de potensielle anvendelsene av maskinlæring i produksjon og samarbeidende roboter. This thesis addresses the challenge of efficient human-robot collaboration in product manufacturing, focusing on machine-learning techniques and their potential applications. It explores hand tracking using MediaPipe's hand detector with a depth camera for robotic visual servo systems, re-training MediaPipe's object detector for new manufacturing object categories, and language model-driven robot task planning using the GPT model family. Firstly, the research compares ArUco marker tracking with MediaPipe and a depth camera, and the experimental results highlight the latter's promise for gloveless tracking for visual servo systems. However, the results also emphasize the need for further development to handle dynamic environments and situations where the operator holds tools while wearing work gloves. The thesis suggests future research into creating a custom dataset for training a hand-detection algorithm based on machine learning tailored for workspace situations, including scenarios where the operator is wearing work gloves. Next, re-training MediaPipe's object detector revealed challenges like image downscaling and model bias to contextual information. Despite these challenges, the thesis provides a step-by-step re-training guide and found that adding one object category to the model only requires 20 hours of work, including the time needed to create the dataset. Finally, the thesis found that integrating large language models with object detection shows potential for flexible task planning based on simple language instructions from human operators. This integration allows the robot to be aware of its surroundings through object detection, grounding the task planning in the real world. However, variability in responses from the language model affects the system's reliability. These findings demonstrate the feasibility and potential applications of machine learning in manufacturing and collaborative robotics.