Hyperparameter Optimization for Neural Network-based Virtual Flow Metering

Abstract

Hyperparametere er parameterne som kontrollerer hvordan en maskinlæringsalgoritme lærer, og hyperparameteroptimalisering er prosessen med å optimalisere disse parameterne. Riktig valg av hyperparameter verdier er avgjørende for å oppnå tilfredsstillende resultater, og optimalisering av dem kan heve ytelsen til en algoritme betydelig. Dessverre finnes det ingen generell hyperparameteroptimaliseringsalgoritme som alltid presterer bedre enn de andre. Solution Seeker har utviklet en datadrevet virtuell strømningsmåler, en maskinlæringsalgoritme som estimerer den totale strømmen av vann, olje og gass gjennom et rør. Dette arbeidet identifiserer egnede hyperparameteroptimaliseringsalgoritmer håndtilpasset denne virtuelle flytmåleren, og gir Solution Seeker en bedriftsspesifikk guide til hyperparameteroptimalisering, for forhåpentligvis å danne et konkurransefortrinn for virksomheten.

Interessante algoritmer er identifisert gjennom en litteraturgjennomgang av eksisterende hyperparameteroptimaliseringsalgoritmer sentrert rundt dype nevrale nettverk. Egnetheten til disse algoritmene blir deretter diskutert i sammenheng med den virtuelle strømningsmåleren gjennom en omfattende case studie om hyperparameteroptimalisering av den virtuell strømningsmåleren innenfor et begrenset tids- og kostnadsbudsjett. Resultatene fra case studiet støtter bruken av en modellbasert hyperparameteroptimaliseringsalgoritme, muligens i kombinasjon med en enkel multifidelity-teknikk.

Hyperparameters are the parameters that control how a machine learning algorithm learns, and Hyperparameter Optimization (HPO) is the process of optimizing these parameters. Appropriately selecting the values of hyperparameters is paramount for achieving satisfying results, and optimizing them can significantly excel the performance of an algorithm. Unfortunately, there exists no general HPO-algorithm that outperforms the other. Solution Seeker has developed a data-driven virtual flow meter (VFM), a machine learning algorithm that estimates the total flow of water, oil & gas through a pipe. This work identifies suitable HPO-algorithms hand-tailored to this VFM, and provides Solution Seeker with a company-specific guide to HPO, to hopefully help the business gain a competitive advantage.

Interesting algorithms are identified through a literature review of existing HPO-algorithms centred around deep neural networks. The fitness of these algorithms is then discussed in the context of the VFM through an extensive case study on hyperparameter optimization of the VFM within a restricted time and cost budget. The case study results support the use of a model-based HPO-algorithm, possibly in combination with a simple multi-fidelity (MF) technique.