Fish bin picking using machine vision
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3090579Utgivelsesdato
2023Metadata
Vis full innførselSamlinger
Sammendrag
Retten til mat er en avgjørende menneskerettighet som sikrer at alle har tilgang til tilstrekkelig og trygg ernæring. Fisk og fiskeriprodukter spiller en viktig rolle i global matsikkerhet. Fiskeindustrien har utvidet seg på grunn av økende etterspørsel etter fiskeprodukter. For å imøtekomme fremtidige matbehov er det anslått at matproduksjonen må dobles innen 2050. Norge, en stor eksportør av sjømat, oppnådde en rekordstor sjømateksport i 2022. Imidlertid har avhengigheten av manuelt arbeid i fiskeforedlingsfabrikker vist seg å være suboptimal og tidkrevende. I tråd med den gjeldende trenden med automatisering i ulike industrier, har integrering av maskinlæring, maskinsyn og robotikk potensial til å forbedre arbeidseffektiviteten og produktkvaliteten innen fiskeindustrien. Likevel er en utfordring ved implementering av maskinlæring kravet om merkede data, noe som kan være kostbart og tidkrevende å samle og merke. For å adressere dette problemet har bruken av digitale tvillinger og 3D-modeller dukket opp som en løsning for å generere syntetiske, men presise merkede data. I denne avhandlingen ble det brukt en 3D-modell av en laks for å generere treningsdata for en maskinsynsalgoritme. Denne algoritmen muliggjør forutsigelse av fiskens plassering og orientering på en overflate, noe som letter den robotiserte armen i å plukke opp og plassere fisken. En tilpasset variant av VGG16-modellarkitekturen ble brukt i eksperimentet. To forskjellige kameraposisjoner ble vurdert, og den trente modellen som brukte sidekameraposisjonen viste en lavere MSE (gjennomsnittlig kvadratisk feil) på 8,3x10-5 for plassering og 2,5x10-3 for orientering. Bemerkelsesverdig ga valideringsdata verdiene 1,5x10-4 for plassering og 5,8x10-2 for orientering, og for testen var verdiene 8,4x10-3 og 1,3x10-4. The right to food is a crucial human right, ensuring that everyone has access to sufficient and safe nourishment. Fish and fishery products play a vital role in global food security. The fishing industry has been expanding due to rising demand for fish products. To meet future food demands, it is projected that food production needs to double by 2050. Norway, a major seafood exporter, achieved a record-breaking seafood export in 2022. However, the reliance on manual labor in fish processing factories has proven suboptimal and time-consuming. In line with the prevailing trend of automation in various industries, integrating machine learning, machine vision, and robotics holds promise for enhancing work efficiency and product quality within the fish industry. Nonetheless, one challenge with implementing machine learning is the requirement for labeled data, which can be costly and time-intensive to gather and annotate. To address this issue, the utilization of digital twins and 3D models has emerged as a solution to generate synthetic yet precise labeled data. In this thesis, a 3D model of a salmon was employed to generate training data for a machine vision algorithm. This algorithm enables the prediction of the fish's location and orientation on a surface, facilitating the robotic arm's ability to pick and place the fish. A customized variant of the VGG16 model architecture was employed in the experiment. Two different camera positions were assessed, and the trained model utilizing the side camera position exhibited a lower MSE of 8.3x10-5 for location and 2.5x10-3 for orientation. Notably, the validation data yielded values of 1.5x10-4 for location and 5.8x10-2 for orientation, and for the test the values where 8.4x10-3 and 1.3x10-4.