Electric Utility Customer Segmentation from Advanced Metering Systems Data

Abstract

Denne masteroppgaven er skrevet for Institutt for elkraftteknikk ved Norges teknisk-naturvitenskapelige universitet (NTNU), Trondheim, i samarbeid med Lyse Elnett AS og Centre for Intelligent Electricity Distribution (CINELDI). Tema for masteroppgaven er utvikling av et datamaskinbasert verktøy for segmentering av kunder til nettselskaper basert på tidsserier fra AMS-måledata (Advanced Metering Systems) av kundenes strømforbruk.

Reguleringsmyndigheten for Energi (RME) i Norge har stilt som krav at alle norske nettselskaper skal ha installert "smarte" strømmålere, det vil si AMS-målere, innen 1, januar 2019 ved alle aktuelle målepunkt i sitt distribusjonsnettverk. AMS-målere kan registrere et spekter av parametere i sanntid. Tilgang på slike data kan ha mange fordeler for nettselskapene. Likevel har undersøkelser gjennomført i forbindelse med denne oppgaven avdekket av nettselskapene i liten grad anvender AMS-data. I rapporten er det identifisert fire anvendelsesområder for AMS-data som ville vært gunstige for nettselskapene å ta i bruk. Gjennom en "Analytical Hierarchy Process ble ett av områdene valgt ut for videre studie i denne rapporten. Området som ble valgt er segmentering av nettselskapenes kunder basert på tidsserier av AMS-målinger av strømforbruk.

Et dataprogram satt sammen av ulike komponenter for segmentering av nettselskapenes kunder ble utviklet. Programmet er laget i programmeringsspråket Python og segmenterer kunder basert på tidsserienes form (shape-based clustering), uavhengig av amplitude, offset og tid (amplitude, offset, and time invariant), samt en Cluster Validation Index (CVI) algoritme. I tillegg ble det lagt inn i programmet metoder for å skille ut spesielle avvikende AMS-tidsserier basert på styring fra bruker.

Etter at den konseptmessige rammen for dataprogrammet var etablert, ble algoritmene benyttet i dataprogrammet valgt basert på fordeler og ulemper for hver enkelt. Programmet er skrevet på en slik måte at algoritmene lett kan byttes ut og erstattes med andre av brukeren. Den valgte segmenteringsalgoritmen heter "K-Shape" og den valgte metoden for å måle godhet av segmenteringen, CVI, heter "Silhouette algorithm". "Dynamic Time Warping" er valgt som algoritme for de ulike metodene for analyse av avvikende tidsserier.

Evalueringen av det utviklede dataprogrammet ble først gjennomført basert på kjente datasett for å kontrollere at modellen var i stand til å produsere et resultat som på forhånd var kjent. Dataprogrammet gjennomførte dette på en god måte. Deretter ble det gjort en evaluering av programmet basert på AMS-tidsserier gjort tilgjengelig av Lyse Elnett. I rapporten er det vist at programdelen for analyse av avvikende tidsserier er i stand til å sortere ut forhåndsdefinerte avvikende tidsserier. Programdelen er utviklet til et visst punkt, men kan utvikles videre.

Deretter ble programmet testet basert på to AMS-datasett fra Lyse Elnett. Testingen med det første datasettet viste at det utviklede programmet har en tendens til å segmentere alle tidsserier med lignende periodisitet i samme segmentgruppe og derved prefere et lite antall segmenter. AMS-dataene viste seg å være mer utfordrende for programmet å segmentere enn settet med kjente data, etter som AMS-dataene inneholdt grupper med tidsserier som var mindre distinkte og tidsserier som kunne anses som irregulære. Programdelen for å sortere ut avvikende tidsserier ble anvendt med positivt resultat gjennom å separere ut irregulære tidsserier (flate tidsserier) fra datasettet.

Testing av programmet ble også gjort på det andre datasettet fra Lyse Elnett i form av en sammenligning av segmenteringsresultatene fra kjøringer av dataprogrammet opp mot standardsegmenteringen som nettselskapene per i dag benytter. Det utviklede dataprogrammet produserte en bedre segmentering enn standardsegmenteringen målt med CVI. Det er likevel viktig å her være klar over at nettselskapenenes standardmetode for segmentering ikke nødvendigvis er basert på at kunder med likt profil for sitt strømkonsum skal grupperes i samme kategori, hvilket er basis for det dataprogrammet utviklet for denne rapporten.

Det ble også identifisert noen forbedringspunkter for det utviklede dataprogrammet. Et av disse er å gjøre det mulig for programmet å ta den eksisterende standardsegmenteringen som nettselskapene benytter med i betraktningen, for også å kunne ta hensyn til amplitude og offset av tidsseriene i segmenteringens. Et annet forbedringspunkt er knyttet til programmeringsspråket som er benyttet for programmet. Python er et relativt høynivå-programmeringsspråk og ved å benytte et mer lavnivå-språk, som for eksempel C++, kan effektiviteten til programmet økes og derved tiden for gjennomføringen av analysene reduseres betraktelig.

This is a master's thesis written for the Department of Electric Power Engineering at the Norwegian University of Science and Technology in collaboration with Lyse Elnett and the Centre for Intelligent Electricity Distribution. In this master's thesis, a computer based tool is developed for the segmentation of the customer base of Distribution System Operators (DSO) based of Advanced Metering System (AMS) time series data of the DSO customers.

The Norwegian Regulatory Authority for Energy have required all Norwegian DSOs to install AMS-meters at every point of measurement in the distribution utility grid by 1 January 2019. An AMS-meter is able to capture a wide variety of data types in real time. Analysis and evaluation of this data has the potential to benefit DSOs in several ways. However, as was confirmed through contacting several DSOs, such as Elvia, BKK Nett and Lyse Elnett, up to now DSOs have only to a limited extend exploited the potential benefits of using AMS data. In the report, four potential areas of research within the use of AMS-data for DSOs were identified. Through an Analytical Hierarchy Process one of these four areas was selected for further study. The area of use for AMS-data which was selected for this report, was the segmentation of utility grid customers based on AMS time series data of customer electricity consumption.

A synthesis computer programme for customer segmentation was developed in the coding language Python, using shape-based clustering (i.e. amplitude, offset and time invariant), and a Cluster Validation Index (CVI) algorithm. Additionally, an option to perform outlier analysis of the AMS input data was included in the programme.

Following the development of a conceptual framework for the computer programme, the actual algorithms used in the customer segmentation model were selected based on the merits of each specific algorithm. The programme was also written in such a way that the different algorithms could be changed/replaced by the user. The selected clustering algorithm was the K-Shape algorithm and the selected CVI was the Silhouette algorithm. Dynamic Time Warping was chosen as the algorithm used in the different outlier analysis methods.

The assessment of the developed customer segmentation programme and the underlying methodology was first done through tests on a known data set to check whether the results that were known beforehand to be correct would be produced. The developed segmentation programme was shown to produce good results when tested on a known data set. Further, the included outlier analysis methods were shown to be able to sort out predefined time series outliers provided user evaluation and input. The outlier analysis part is developed to a certain point and has potential be further improved.

Following this, an assessment was made on the basis of actual AMS-data sets provided by Lyse Elnett. When tested on the first AMS-data set, the programme showed a tendency to prefer segmenting based on similar periodicity of the time series. Additionally, AMS-data was more challenging for the algorithm to cluster than the known data set, possibly because the AMS-data set was more homogeneous with more similarly shaped and less discernible time series groups. Outlier analysis was shown to improve the programme performance by removing irregular (i.e. flat) time series.

Based on the second AMS-data set, a comparison with the current standard method of customer segmentation utilized by Norwegian DSOs was also performed. The developed customer segmentation method was shown to produce a better partition compactness of the AMS-data set than the standard DSO method when measured with a CVI. It should be kept in mind that the main objective of the standard DSO segmentation method may not necessarily be on segmenting for similar consumption shapes, as opposed to the developed segmentation programme.

Some potential improvements to the developed programme were also identified. One of these was the potential for the programme to take into account the standard DSO segmentation, in order to include amplitude and offset information in the analysis. Another area of improvement was the language in which the programme was written. Python is a relatively high-level coding language, and the efficiency of the programme and thereby calculation time may be improved if a lower-level language such as C++ were utilized.