On the applicability of a perceptually driven generative-adversarial framework for super-resolution of wind fields in complex terrain

Abstract

Det har nylig blitt gjort store fremskritt innenfor datasyn for konstruksjon av høyoppløste bilder fra referansebilder med lav oppløsning ved å benytte høy-\\dimensjonale aktiveringer fra ``feature-extractors" for å danne et perseptuelt tap i ``generative-adversarial" nettverk (GANs). En perseptuelt drevet GAN-modell ble nylig foreslått for å øke oppløsningen av atmosfærisk vind i komplekst terreng. Dog det ble vist til at den generative modellen kan produsere sannsynlige vindfelt, ble det ikke fremvist noen statistisk analyse, og det perseptuelle aspektet av modellen var ikke begrunnet for anvendelse på vinddata.

Denne masteroppgaven undersøker anvendeligheten av en slik perseptuelt drevet modell for å øke oppløsningen av atmosfærisk vind med opprinnelig lav oppløsning. En initiell stabilitetsanalyse viste at den perseptuelle tapskomponenten for den generative modellen konsekvent ikke klarte å konvergere. Følgelig ble en grundig analyse utført på vinddata fra perspektivet til den konvolusjonelle ``feature extractor"'en som ble brukt til å konstruere dette perseptuelle tapet. Flere vinddatasett ble representert som RGB-bilder for å bygge en intuisjon for deres visuelle kompleksitet, tatt i betraktning at den anvendte ``feature extractor"'en opprinnelig ble trent til å klassifisere RGB-bilder. Det ble antatt at den generative modellen ikke var i stand til å lære de visuelle egenskapene til vinddataene på grunn av den signifikante forskjellen mellom datasettet som ble brukt til å trene ``feature extractor"'en og vinddataene som ble brukt til å trene den generative modellen. Videre ble det antatt at variasjoner i aktiveringer fungerer som en kilde til støy for den generative modellen i stedet for å hjelpe den med å forbedre nøyaktigheten i sine genererte høyoppløste vindfelt. Ved å sette modellen til å heller øke oppløsningen av vinddata fra toppen av domenet, klarte den å konvergere som forventet. Dermed ble det vist at den perseptuelle tilbakemeldingen fra ``feature extractor"'en hemmer modellen.

Ved å sammenligne mellom målinger av ``Peak Signal-to-Noise Ratio" (PSNR) og ``Learned Perceptual Image Patch Similarity" (LPIPS), ble det vist at å minimere det perseptuelle tapet ikke nødvendigvis korresponderer med å lære den grunnleggende dynamikken av luftstrømninger i det relevante domenet. Avslutningsvis ble den foreslåtte modellen ansett som utilstrekkelig for oppgaven med å øke oppløsningen av vindfelt i komplekst terreng.

Great strides have been made in recent years in single-image super-resolution (SISR) tasks by utilizing high-dimensional feature activations from pre-trained feature extractors to introduce a perceptual loss in generative-adversarial networks (GANs). A perceptually driven GAN model was recently proposed for super-resolving wind fields in complex terrain. While the generative model was shown to produce plausible wind fields, no statistical analysis was shown, nor was the perceptual aspect of the model justified for application on wind data.

This thesis investigates the applicability of such a perceptually driven model to super-resolve low-resolution wind fields. An initial stability analysis found that the perceptual loss component for the generative model consistently failed to converge. Consequently, an in-depth analysis was performed on the wind data from the perspective of the convolutional feature extractor used to construct this perceptual loss. Considering that the feature extractor was explicitly trained to classify RGB images, wind datasets were converted into an RGB representation to build an intuition for their equivalent visual complexity. It was hypothesized that the generative model was unable to fully learn the visual characteristics of the presented wind data due to the significant difference between the dataset used to train the feature extractor and the wind data used to train the generative model. Thus, the variations in feature activations are thought to act as a source of noise for the generative model rather than helping it improve the accuracy in its super-resolved wind fields. By setting the model to super-resolve wind data from the top of the domain, it was able to converge as expected. Therefore, it was shown that the perceptual feedback from the feature extractor inhibits the model.

By enforcing an agreement evaluation between the Peak Signal-to-Noise Ratio (PSNR) and the Learned Perceptual Image Patch Similarity (LPIPS) metrics, it was shown that minimizing the perceptual loss is not synonymous with learning the governing equations of airflow in the relevant domain. In conclusion, the proposed model was deemed insufficient for the task of super-resolving wind fields in complex terrain.