Synthetic Datasets and Object Detection for Low Volume Product Assembly

Abstract

I tradisjonelle industrier med lite volum er kostnadene ved å innføre automatisering vanligvis høyere enn ved bruk av manuelt arbeid. Derfor er det mye skepsis mot automatisering. Dette arbeidet undersøker noen av nøkkelproblemene i dag og foreslår en tilnærming til gjenkjenning av objekter for henteprosessene i en robotcelle. Når man bruker maskinlæring, kreves det vanligvis et stort datasett for å opprette et nettverk med høy ytelse. Siden de fleste selskaper vil beskytte sin egen immaterielle eiendom, er datasett som inkluderer spesifikke deler vanligvis ikke tilgjengelig på internett. Å lage et datasett manuelt vil øke ledetiden, noe som igjen øker kostnadene og som gjør det vanskeligere å rettferdiggjøre innføring av et slikt system.

Derfor utforsker dette arbeidet muligheten for å teksturere 3D modeller for å lage et syntetisk datasett. Ved å teksturere modellene kan deteksjonsnettverket se forskjellige farger sammen med former. To metoder for teksturering ble testet, manuell teksturering av en 3D-modell og bruk av fotogrammetri. Manuell teksturering passer inn i den eksisterende arbeidsflyten og krever ikke omfattende endringer. Fotogrammetri ble brukt til å håndtere tilfeller der virtuelle modeller ikke var tilgjengelige. Testing av fotogrammetri avslørte at det ikke var en god metode for denne tilnærmingen siden den slet med komplekse gjenstander.

Sammen med fotogrammetri-modeller ble testobjekter 3D-printet for å ligne virkelige gjenstander som blir brukt av den industrielle partneren. En kodeimplementering for å skape syntetiske datasett ble opprettet med flere metoder for å legge til bakgrunnsinformasjon. Bakgrunns metoder ble sammenlignet ved å trene et YOLOv5-nettverk og teste det på virkelige bilder. Det ble avslørt at bruk av forskjellige bakgrunnsbilder og å legge et bilde av modellen på toppen var den overlegne metoden; denne metoden nådde gjennomsnittlig presisjonsverdi på 93% for en overlappings verdi på 50% med tre enkle modeller.

Til slutt er objekt gjenkjennings tilnærmingen inkludert i et foreslått system for håndtering av programmering av robotplukking, samt for å legge til rette for å legge til andre funksjoner som produktsporing og sikkerhetsovervåking.

In traditional low-volume industries, the cost of introducing automation is typically higher than that of using manual labor. Therefore, there is a lot of skepticism towards automation. This work investigates some of the key problems today and proposes an object detection approach for the pickup processes in a robot cell. When using machine learning, a large dataset is usually required to create a high-performing network. Since most companies want to protect their own intellectual property, datasets including specific parts are usually not available online. Creating a dataset manually would increase the lead time which in turn increases cost, making it harder to justify introducing such a system.

Therefore, this work explores the possibility of texturing computer-aided-designed models and creating a synthetic dataset. By texturing the models, the detection network can see different colors along with shapes. Two methods of texturing were tested, manually texturing a 3D model and using photogrammetry. Manually texturing fits into the existing workflow and do not require extensive changes to be made. Photogrammetry was used to handle cases where virtual models were not available. Testing photogrammetry reviled that it might not be a good method for this approach since it struggled with complex objects.

Along with photogrammetry models, testing objects were 3D printed to resemble real objects used by the industrial partner. A code implementation for generating synthetic datasets was created with several methods for adding background information. The background methods were compared by training a YOLOv5 network and testing it on real images. It was revealed that using different background images and superimposing an image of the model on top was the superior method; this method reached a mean average precision value of 93% with a 50% intersection over union value with three simple models.

Finally, the object detection approach is included in a proposed system for handling robot pickup programming as well as facilitating other functions such as product tracking and safety surveillance.