Automatic strawberry detection

Abstract

Denne oppgaven undersøker hvordan datasyn kan brukes til å detektere jordbær i bilder. Tre forskjellige datasynsalgoritmer legges frem, implementeres og sammenlignes med hverandre i denne oppgaven. Den første er basert på tradisjonelt datasyn og bruker hovedsakelig en segmenteringsalgoritme for å detektere jordbær. De to andre er basert på et rammeverk for dyp læring som bruker dype nett for å detektere jordbær. Spørsmålet denne oppgaven prøver å svare på er som følger; hvilke av de to metodene, tradisjonelt datasyn og dyp læring, egner seg best til å detektere jordbær i bilder?

Teorien bak hver metode forklares først for å forstå hvordan de fungerer og kan brukes. Så blir implementasjonen av hver metode beskrevet og resultatene blir lagt frem. Til slutt diskuteres metodene og resultatene for å kunne konkludere og diskutere hva Saga Robotics kan gjøre videre for å forbedre resultatene. Koden implementert i denne oppgaven finnes i Appendix A. Appendix B inneholder lenker til tre videoer som viser resultatet av hver metode implementert i denne oppgaven.

De beste resultatene i denne oppgaven er en mAP på 87.1% og en gjennomsnitlig segmenteringsnøyaktighet på 86.6% for YOLOv3-strawberry, en versjon av YOLOv3 trent spesifikt på jordbær. Denne oppgaven konkluderer med at metodene basert på dyp læring som ble implementert egner seg bedre til å detektere jordbær enn metoden basert på tradisjonelt datasyn som ble implementert.

This thesis explores the world of computer vision in order to detect strawberries in images. Three different methods of object detection are presented, implemented and compared in this thesis. The first one is based on traditional computer vision and uses primarily a segmentation algorithm to detect strawberries. The two other ones are based on a deep learning framework that uses a single pass of a neural network to detect strawberries in an image. The question this thesis intends to answer is; which of the two methods, traditional computer vision and deep learning, is the most suited to detect strawberries in images?

The theory behind each method is first explained to understand how they work and can be used. Then, the implementation is described and the results are presented. Finally, the methods and results are discussed individually and compared in order to conclude and discuss what further work can be done by Saga Robotics. The code implemented in this thesis can be found in Appendix A. Appendix B contains links to three videos showcasing the results of each method implemented in this thesis.

The best results obtained in this thesis are a mAP of 87.1% and an average segmentation accuracy of 86.6% for YOLOv3-strawberry, the YOLOv3 object detection system trained specifically on strawberries. The thesis concludes that the deep learning methods implemented are more suited to detect strawberries in images than the traditional computer vision method implemented.