Efficient Processing of Distributed Acoustic Sensing Data: Anomaly Detection using Autoencoders

Abstract

Distribuert akustisk sensing (DAS) har blitt en lovende teknologi i ulike disipliner i løpet av det siste tiåret, og omfagner alt fra geofysikk til marinbiologi. Imidlertid prioriterer nåværende behandlings- og anomalideteksjonsmetoder ofte nøyaktighet fremfor effektivitet. Denne oppgaven tar for seg utfordringen med å effektivt behandle DAS-data og samtidig opprettholde effektive avviksdeteksjonsmuligheter. Vi undersøker parallelle prosesseringsteknikker for storskala, tettsamplede DAS-data og utforsker bruken av kompakte autokodere for rask avviksdeteksjon.

Vi presenterer to verktøy: Judas, en pakke for effektiv lasting og prosessering av DAS-data, og TinyDAS, et skalerbart rammeverk for å trene autokodere og utføre anomalideteksjon. Disse verktøyene tar sikte på å redusere beregningsressurser og behandlingstid for DAS-datahåndtering betydelig. Vi validerer disse programmene ved å bruke proprietære og åpen kildekode-datasett, med fokus på jernbaneovervåking og jordskjelvdeteksjon.

Forskningen vår demonstrerer en tilnærming som består av flere synkroniserte prosesser kombinert med minnekartlegging og lasting på forespørsel, etterfulgt av parallell resampling, for effektivt å håndtere storskala, tettsamplede DAS-data, noe som reduserer minneoverhead. Videre finner vi lovende resultater på en konvolusjonell autokoder med bare 47k parametere som kan oppdage anomalier i store matriser på bare 5,6 ms mens den er trent på potensielt unormale data.

Vårt arbeid fremmer mer effektive teknikker for behandling av DAS-data, noe som kan være til nytte for ulike bransjer som bruker DAS-teknologi, inkludert infrastrukturovervåking og geofysisk prognose. Ved å forbedre databehandlingsrørledninger og fremme effektive autoencoder-design, baner vårt arbeid ved NTNU Senter for Geofysisk Prognosering vei for mer utbredte og ressurseffektive anvendelser av DAS-teknologi i sanntidsscenarier.

Distributed acoustic sensing (DAS) has become a promising technology in various disciplines over the last decade, spanning geophysics to marine biology. However, current processing and anomaly detection methods often prioritize accuracy over efficiency. This thesis addresses the challenge of efficiently processing DAS data while maintaining effective anomaly detection capabilities. We investigate parallel processing techniques for large-scale, dense-sampled DAS data and explore the application of compact autoencoders for rapid anomaly detection.

We present two tools: Judas, a package for efficient loading and processing of DAS data, and TinyDAS, a scalable framework for training autoencoders and performing anomaly detection. These tools aim to significantly reduce computational resources and processing time for DAS data handling. We validate these programs using proprietary and open-source datasets, focusing on railroad monitoring and earthquake detection.

Our research demonstrates an approach consisting of multiple synchronized processes combined with memory mapping and on-demand loading, followed by parallel resampling, to efficiently handle large-scale, dense-sampled DAS data, reducing memory overhead. Furthermore, we find promising results on a convolutional autoencoder with only 47k parameters that can detect anomalies in large matrices in just 5.6ms while trained on potentially anomalous data.

Our work promotes more efficient techniques for processing DAS data, which can benefit various industries utilizing DAS technology, including infrastructure monitoring and geophysical forecasting. By enhancing data processing pipelines and promoting efficient autoencoder designs, our work at NTNU Centre for Geophysical Forecasting paves the way for more widespread and resource-efficient applications of DAS technology in real-time scenarios.