Fourier ptychographic reconstruction using neural networks trained on stock images

Abstract

Fourier ptykografi er en beregningsbasert avbildningsteknikk for å oppnå høy oppløsning og samtidig et bredt synsfelt (FoV). Teknikken består av hente informasjon om prøvens Fourier spektrum ved å belyse prøven fra forskjellige innfallsvinkler. Hver innfallsvinkel produserer et lavoppløst intensitetsbilde som innneholder informasjon om et bestemt område i prøvens Fourier spektrum. Settet av lavoppløste intensitetsbilder kan deretter brukes til å syntetisere et høyoppløst bilde av prøvens komplekse amplitude ved bruk av en rekonstruksjonsmetode. Siden den komplekse amplituden rekonstrueres vil også prøvens fasebilde gjenfinnes.

Rekonstruksjonsmetodene som vanligvis benyttes er iterative metoder basert på overlappende informasjon i Fourier rommet, men alternative dyplærings baserte metoder med nevrale nettverk har også blitt utforsket. Dette prosjektet utforsker bruken av nevrale nettverk for fourier ptykografis rekonstruksjon, men med vrien at de nevrale nettverkene trenes utelukkende på et datasett konstruert med simulering. Det kunstige datasettet til bruk for trening av de nevrale nettverkene ble konstuert ved å simulere fourier ptykografisk avbildning av et komplekst objekt, der verdiene benyttet for amplitude og fase til det komplekse objektet var gråskala-bilder hentet fra et utvalgt datasett. To forskjellige nevrale nettverksarkitekturer ble utprøvd.

Rekonstruksjonsresultater på simulerte data, der det avbildede komplekse objektet var kontruert med data hentet fra et valideringsdatasett, viste gode resultater og lyktes i å rekonstruere det komplekse objektet med høy nøyaktighet. De nevrale nettverkene ble også testet på virkelig FP data ved å rekonstruere en FP avbildning av en ben- og bruskprøve. NN metoden genererte rekonstruerte bilder med økt oppløsning, men ikke den oppløsningsøkningen som er forventet av teorien. En sammenligning med høyoppløstbildet rekonstruert av den konvensjonelle iterative metoden viste at de nevrale nettverkene ikke genererte bilder av sammenlignbar kvalitet. Rekonstruert høyoppløstbilde med den iterative metoden viste høyere oppløsning enn høyoppløstbildet generert av den NN baserte metoden som indikerer at NN metoden ikke rekonstruerer Fourier spekteret til det høyoppløste objektet tilstrekkelig.

Fourier ptychography is a computational imaging technique for capturing images at high-resolution while maintaining a wide field of view. The technique consists of gathering information about the sample's Fourier spectrum by illuminating the sample from different incidence angles. Each incidence angle then corresponds to a low-resolution intensity image with information about a particular area in the sample's high-resolution spectrum. The set of captured low-resolution intensity images can then be used to synthesize the sample's high-resolution complex amplitude. Since the complex amplitude is recovered the phase image of the sample will also be recovered.

The reconstruction procedure is conventionally done with an iterative method, but recently alternative deep learning-based approaches with neural networks have been explored. This project explores training neural networks to do Fourier ptychographic reconstruction, but with the twist that all training data used to optimize the parameters of the neural network is created by simulation. The simulation procedure emulates Fourier ptychography imaging of a complex object where the values used for the amplitude and phase arrays are chosen to be grayscale images drawn from a dataset of stock images. Two different neural network architectures were explored.

Reconstruction results on simulated data created from a validation dataset showed good results, recovering the high-resolution object with high accuracy. The performance of the neural networks was also tested on real data by reconstructing an FP image set of a bone and cartilage sample. The neural networks produced images with increased resolution, but not the resolution gain expected from theory. A comparison with the high-resolution image reconstructed by the conventional iterative method showed that the neural networks did not produce images of comparable quality, with the high-resolution images reconstructed by the iterative method showing a larger amount of detail which suggests a higher resolution than the reconstructed neural network solutions.