Image recognition for groceries using deep learning

Abstract

I flere tiår har strekkoder vært brukt for å skanne og identifisere varer i dagligvarebutikker verden over, ettersom det er en lett og effektiv måte å registrere varene på i kassen. I daglivarebutikker derimot, selges det mange produkter som ikke har noen strekkode, og det har enda ikke blitt funnet en måte som er like lett å bruke som strekkoder for å registrere disse varene. Det er istedenfor blitt de ansattes og kundenes ansvar å registrere disse varene korrekt. Gjennom arbeidet med denne masteroppgaven ønsker vi å se metoder for å gjøre det like enkelt å registrere disse varene i kassen, som varene som har en strekkode.

De siste årene har maskinlæring blitt tatt i bruk innenfor mange nye områder, og vi ønsker å se på muligheten til å benytte maskinlæring for å klassifisere varer som frukt, grønnsaker og bakevarer gjennom bildegjenkjenning og nevrale nettverk.

Basert på vår utviklede modell og resultater ser det ut som nevrale nettverk kan benyttes til dette formålet. Det kreves derimot mer utvikling for å lage en modell som er i stand til å klassifisere alle ønskede produkter under varierte forhold. Som med mange andre prosjekter innenfor maskinlæring har tilgangen til data vist seg å være en stor utfordring ved utvikling av en god nok modell.

For decades, barcodes have been used to scan and identify products sold in grocery stores around the world, as it provides an easy and efficient way to enter the products in cash registers. In grocery stores however, many products does not contain a barcode, but a method for entering these products as efficiently as those with barcodes has not yet been found. Instead, it is up to the cashiers and customers to enter these products correctly. Through this thesis, we explore methods which could make the process easier than what is the case today.

As machine learning during the last years have been applied to new and interesting domains, we wanted to explore the possibility of using this method to classify products such as fruits, vegetables and baked goods sold in grocery stores using image recognition and neural networks. As we are dealing with a limited dataset, transfer learning has also been utilized to improve performance.

Based on our model and experiments it seems likely that neural networks can be applied to this domain, but more development is needed in order to create a model which can handle the different products and variation in images. As with many other projects in machine learning, the lack of available training data has proven to be one of the biggest hurdles to overcome.