Metodologi for synkronisering av hyperspektral klassifisering med sorteringsmaskiner

Abstract

Hyperspektral avbildning har vist seg å være et nyttig verktøy for fjernmåling i laboratorie-, felt-, luftbårne og industrielle applikasjoner. Teknikken gir høy spektral oppløsning i det synlige og infrarøde spekteret, som kan brukes til analyse og klassifisering av materialer. Denne oppgaven fokuserer på den industrielle anvendelsen sortering basert på klassifisering med hyperspektral avbildning. Sortering av uønskede gjenstander eller defekter kan øke effektiviteten i produksjonslinjer betraktelig.

Denne oppgaven undersøker hvordan en klassifiseringsmodul kan bli laget med et hyperspektralt kamera som sensor og med en ekstern oscillator for synkronisering gjennom triggerpulser. Kameraet som brukes er et kortbølget infrarødt (SWIR) hyperspektralt kamera som skanner linje for linje. Det har spektralområde 930-2500nm og er produsert av selskapet HySpex. Ytelsen og stabiliteten til kameraet blir bekreftet med en gjennomgang av testrapporten. Oscillatoren er en frekvensdeler produsert av selskapet NEOLund, og stabiliteten er bekreftet med et oscilloskop. Klassifiseringsmodulen er laget for å være integrerbar med ethvert sorteringssystem, for eksempel transportbånd med trykkluftventiler eller steg med robotarmer. Denne oppgaven introduserer klassifiseringsmodulen i tre deler: bildeinnsamling og modellering, implementering av en generell klassifiseringsmodul og tilsutt testing med en spesifikk integrasjon.

Objekter beveger seg i forhold til kameraet og blir skannet linje for linje under innhenting av bilder. I denne oppgaven blir seks objekter skannet: tre trebiter og tre steinbiter. Objekter ble valgt for å være enkle å klassifisere for menneskeøyet, slik at resultatene kunne verifiseres manuelt. To klassifikasjonsarbeidsflyter ble opprettet for disse seks objekter. Arbeidsflyt 1 bruker alle de 288 bølgelengdene kameraet kan levere, mens arbeidsflyt 2 begrenser antall bølgelengder til 56. Denne begrensningen utføres basert på informasjon samlet inn under opprettelsen av arbeidsflyt 1. Separasjonen av objekter fra bakgrunnen ble vellykket for arbeidsflyt 1, og klassifiseringsmodellen er nøyaktig. Separasjonsmodellen i arbeidsflyt 2 har mer støy enn arbeidsflyt 1, men er fremdeles vellykket. Klassifiseringsmodellen er enda mer nøyaktig enn den i arbeidsflyt 1.

Den foreslåtte generelle klassifiseringsmodulen er koordinert basert på å samle et fast antall linjer i bilder som er enklere å behandle. Denne samlingen gjør det mulig å sortere objekter basert på førstemann til mølla. En programvare kalt Breeze Runtime fra Prediktera brukes til separasjon og klassifisering av objekter i sanntid. Et program som heter SynchSoftware ble utviklet for denne oppgaven. Den har et brukergrensesnitt som gir brukeren kontroll over Breeze Runtime og frekvensdeleren. SynchSoftware mottar ferdig klassifiserte objekter fra Breeze Runtime, venter til alle objektene som er kortere enn en maksimal størrelse har ankommet, og samler dem inn i bilder.

En test av en spesifikk integrasjon ble utført med en FPGA til å representere sorteringsmaskinen. Frekvensdeleren styrer synkroniseringen ved å sende triggerpulser til kameraet og pulser med 1/128 av frekvensen til FPGAen. FPGAen oppretter deretter tidsstempler basert på pulsene og sender dem til SynchSoftware. SynchSoftware koordinerer disse tidsstemplene hvert sitt bilde og sender dem som byte-strengmeldinger over TCP/IP til FPGA. Synkroniseringen av systemet er avhengig av stabiliteten til frekvensdeleren. Det ble funnet ut at triggersignalet hadde et avvik på mindre enn en promille av perioden. SynchSoftware ble funnet ut til å være begrenset til en kamerafrekvens på under 125Hz. Denne begrensningen skyldes at SynchSoftware bruker mye av tiden på logging. Klassifiseringsmodulen, som består av kameraet, Breeze Runtime, frekvensdeleren og SynchSoftware kan integreres med hvilken som helst treddjeparts sorteringsmaskin.

Hyperspectral imaging has proven to be a useful tool for remote sensing in lab, field, airborne and industry applications. The technique provides high spectral resolution in the visible and infrared spectrum, which is used for analysis and classification of substances. This thesis focuses on the industry application of sorting based on classification with hyperspectral imaging. Sorting out unwanted objects or defects can significantly increase efficiency in production lines.

The thesis explores how to make a classification module with a hyperspectral camera as the sensor and an external oscillator for synchronisation to third party sorting machines. The camera used is a Short Wave Infrared (SWIR) hyperspectral push-broom camera with spectral range 930-2500nm from HySpex. The performance and stability of the camera is verified through a test report review. The oscillator is a Frequency Divider from NEOLund, and the stability of the Frequency Divider is verified with an oscilloscope. The classification module is made to be integrable with any sorting system, for example, conveyor belts with pneumatic valves or stages with robotic arms. In this thesis, the classification module is presented in three parts: image acquisition and modelling, implementation of a general classification module, and testing with a specific integration.

As for all push-broom cameras, the samples are moved relative to the camera and scanned line by line during image acquisition. In this thesis, six samples are scanned: three pieces of wood and three pieces of rock. The samples are chosen to be easy to classify for the human eye so that the results can be verified manually. Two workflows are created to separate the samples from the background and classify them. Workflow 1 uses all of the 288 wavelengths the camera can supply, while workflow 2 limits the number of wavelengths to 56 with windowing. Windowing increases the maximum frequency of the camera and reduces the processing time of the workflow. The windowing is done based on information gathered when creating workflow 1. The separation of samples from the background is successful for workflow 1, and the classification model is accurate. The separation model in workflow 2 is noisier than in workflow 1, but still successful. The classification model is stronger than in workflow 1.

The proposed general classification module is coordinated based on collecting a set number of lines into easy to process frames. This collection allows the samples to be sorted based on a first-come, first sorted basis. The Breeze Runtime Software from Prediktera is used for real-time separation and classification of the samples. A program, named SynchSoftware, was developed as part of the thesis. It has a GUI that gives the user control over Breeze Runtime and the Frequency Divider. SynchSoftware also receives classified samples from Breeze Runtime, waits until all samples below a maximum size arrive and collects them into frames.

A test of a specific integration was performed with an FPGA to act as the sorting machine. The Frequency Divider controls the synchronisation through sending trigger pulses to the camera and event trigger pulses with 1/128 of the frequency to the FPGA. The FPGA then creates timestamps based on the event trigger pulses and sends them to SynchSoftware. SynchSoftware coordinates each timestamp to a frame and sends them as byte-string messages over TCP/IP to the FPGA. The synchronisation of the system relies on the stability of the Frequency Divider. The trigger signal was found to have a deviation of less than one-thousandth of its period. SynchSoftware was found to be limited to a camera frequency of below 125Hz. That limitation is due to SynchSoftware using much of its time on logging. The developed classification module consisting of the camera, Breeze Runtime, the Frequency Divider and SynchSoftware, can be integrated with any third party sorting machine.