Resource-aware Acoustic Event Classification

Abstract

Akustisk hendelse klassifisering (AEC) er en kollektiv samlingsbetegnelse for algoritmer som er i stand til å skille mellom ulike lydhendelser. AEC gjør at maskiner kan lære å gjenkjenne akustiske hendelser, og deretter rapportere eller svare på disse hendelsene. Å ha AEC som kjører på en enkelt enhet gir imidlertid begrenset arealdekning ettersom lyd minker etter hvert som avstandene øker. En bedre løsning er å ha et distribuert nettverk av sensorer som enhver lytter etter hendelser. Å ha vanlige datamaskiner fungerende som sensorer krever infrastrukturer som strøm og internettforbindelse. IoT-sensorer er mye mer egnet for denne oppgaven. Disse sensorene er små, lette å sette ut og krever ikke mye infrastruktur, da de ofte bruker batterier eller solenergi og kommuniserer via WI-FI eller Bluetooth.

Et problem oppstår når man prøver å distribuere AEC på IoT-enheter. AEC er svært datakraft krevende og krever mye informasjon for å kunne fungere bra. IoT-enheter har derimot ofte begrenset beregningsevne og trenger å håndtere sine ressurser godt for å spare så mye energi som mulig slik at den kan leve så lenge som mulig uten å måtte skiftes ut. Dette prosjektet vil se på hvordan disse områdene kan kombineres effektivt med en balanse mellom AEC-nøyaktighet og enhetens energieffektivitet.

Optimaliseringsprosessen består av å teste mange kombinasjoner av tre forskjellige parametere, nemlig samplingsfrekvens, vindusstørrelse og mellomrom mellom vinduer. Hvert sett av disse parameterne vil være et design som vil oppnå en nøyaktighets poengsum og energiforbruk poengsum. Årsaken til å teste mange forskjellige parametere er at et design vil mest sannsynlig ikke være bedre alle de andre. Designene vil ha en viss balanse mellom nøyaktighet og energiforbruk, noe som betyr at de bare vil være optimale gitt et visst krav.

For å kunne sammenligne de forskjellige designene må de testes og måles med noen måleenheter. Designene er testet på en simulasjon av et mulig område der AEC vil være nyttig. Denne simulasjonen gir et kontrollert forsøk og et komplett datasett som brukes til å trene klassifikasjonsmodellene. Det valgte brukstilfellet er å overvåke et hjemmemiljø, og rapportere hva slags aktiviteter som skjer. Denne informasjonen skal brukes til å kontrollere temperaturen i rommet, for eksempel. Andre anvendelser kan være et hjemovervåkningssystem for eldre eller syke mennesker, som gjør at sykepleiere eller omsorgspersoner kan overvåke personen uten for mye inntrenging i personens privatliv i motsetning til å bruke kameraer.

Resultatene viser at ved å velge et albuepunkt i den endelige Pareto-fronten, kan systemet redusere sitt energiforbruk med 72x, mens bare reduserer nøyaktigheten med 0,04. Denne forbedringen viser de mulige fordelene ved å ofre noe nøyaktighet for å øke levetiden til enheten med en størrelsesorden på nesten hundre ganger. Hvis systemet krever en høyere nøyaktighetspoengsum, må den kompensere ved å bruke mye mer energi. Så, den mest fordelaktige designen for dette problemet har en samplingsfrekvens på 1 KHz, en 10 s vindus størrelse, og et statisk vindus skred mellom 10s-200s.

Acoustic event classification (AEC) is a collective term for algorithms able to differentiate between different sound events. AEC allows for machines to learn to recognize acoustic events, and then report or respond to these events. However, having AEC running on a single device gives limited area coverage as sound diminishes as the distances increases. A better solution is to have a distributed network of sensors, each listening for events. Having regular computers act as the sensors require infrastructures such as power and internet connectivity. IoT sensors are much more suitable for this task. These sensors are small and easily displayable and do not require much infrastructure as they often run on batteries or solar power and communicate via WI-FI or Bluetooth.

A problem arises when trying to deploy AEC on IoT devices, however. AEC is very computationally demanding and requires much information in order to perform well. IoT devices on the other hand often have limited computational capabilities and need to manage its resources well in order to save as much energy as possible so that it can live as long as possible without needing a change. This project will look at how these areas can be combined efficiently with a balance between AEC accuracy and device energy efficiency.

The optimization process will consist of testing many combinations of three different parameters, namely sampling rate, window size, and window stride. Each set of these parameters will be a design that will achieve an accuracy score and energy consumption score. The reason for testing many different parameters is that one design will most likely not better all the others. The designs will have trade-offs that in terms of accuracy and energy consumption, which means that they will only be optimal given a set of requirements.

In order to compare the different designs, they have to be tested and measured with some metrics. The designs are tested on a simulated use-case of our choosing, in an area were AEC could prove to be beneficial. This use-case will provide a controlled setting and a complete dataset used to train the classification models. The selected use-case is to monitor a home environment, and report what kinds of activities are going on. This information is intended to be used to control the temperature in the room, e.g.. Other uses can be a home monitoring system for elderly or sick people, that allows nurses or caretakers to monitor the person without too much intrusion into the person's privacy as opposed to using cameras.

The results show that by choosing the elbow point in the final Pareto front, the system can decrease its energy consumption by 72x while only decreasing its accuracy by 0.04. This improvement shows the possible benefits from sacrificing some accuracy to increase the longevity of the device by a magnitude of almost a hundred. If the system requires a higher accuracy score, it will have to compensate by using much more energy. So, the most beneficial designs for this problem have a sampling rate of 1 KHz, a 10s window size, and a static window stride between 10s-200s.