Optimization of a Convolutional Neural Network for Classification of Radar Signals

Abstract

Noveldas ultrabredbåndsradar kan oppdage menneskelig tilstedeværelse ved å detektere svært små bevegelser, slik som pusting og hjerteslag. Denne radarteknologien har mange mulige bruksområder, og blir blant annet benyttet i datamaskiner, for å implementere berøringsfri innlogging. Radaren vil redusere datamaskinens energiforbruk og øke sikkerheten ved å logge av når brukeren beveger seg vekk fra maskinen. For å være sikker på at radaren fungerer optimalt, bør den være i stand til å bruke innhentet informasjon til å klassifisere om det er menneskelig tilstedeværelse eller ikke i radarens dekningsområde. Det kan være nyttig å bruke konvolusjonelle nevrale nettverk til å løse slike klassifiseringsproblemer.

Denne avhandlingen undersøker mulighetene ved å benytte hyperparameteroptimalisering til å utvikle nevrale nettverk med høy nøyaktighet og ytelse. To forskjellige tilnærminger for hyperparameteroptimalisering ble testet med det samme søkeområdet. En genetisk algoritme ble implementert, og flere ulike modellstrukturer ble sammenlignet ved hjelp av denne algoritmen. Denne algoritmen ble også brukt til å søke etter optimale hyperparametere for et sett med modeller. Biblioteket Keras Tuner i Python, som bruker Hyperband som algoritme for optimalisering, ble også implementert og sammenlignet med den genetiske algoritmen.

Resultatene viser at den beste ytelsen ble oppnådd ved bruk av to dropout-lag med rate 0.5, i tillegg til ett Max-pooling-lag. Ved å benytte den genetiske algoritmen til å søke etter optimale hyperparametere, oppnådde den et valideringstap på 0.168, og en sann positiv rate (sensitivitet) på 0.82 for en gitt falsk positiv rate (spesifisitet) på 0.01. Ved å benytte Hyperband som algoritme, ble disse verdiene henholdsvis 0.156 og 0.83.

Novelda’s Ultra Wide Band (UWB) radar is able to detect human presence by observing small movements, like breathing and heartbeats. This radar technology has many possible areas of application, and is among other things used in computers to implement touch-free log-in. The radar will reduce the energy used by the computer and increase the security by automatically log off when the user is leaving. To make sure the radar is behaving optimally, it should be able to classify whether or not there is human presence in the detection range by using information from the radar. Applying convolutional neural networks to solve classification problems can be beneficial. When using neural networks, the choice of hyperparameters can make a significant impact on the final performance.

This thesis studies the possibility to apply hyperparameter optimization to develop neural networks with improved accuracy and performance. Two different approaches were tested for the hyperparameter optimization, both using the same search space. A genetic algorithm was implemented, and several model structures were compared using this algorithm. This algorithm was used to search for the optimal hyperparameters for a set of defined models. The Python library Keras Tuner that uses the Hyperband algorithm for optimization was also implemented and compared to the genetic algorithm.

The results indicate that the best performance was achieved using two dropout layers with a rate of 0.5, in addition to a Max-pooling layer. When using the genetic algorithm to search for the optimal hyperparameters, the model achieved a validation loss of 0.168 and a true positive rate (Sensitivity) of 0.82 for a given false positive rate (Specificity) of 0.01. When using the Hyperband algorithm, those values were respectively 0.156 and 0.83.